أداة إزالة تكرار النصوص

إزالة تكرار النصوص هي عملية تحديد وحذف الجمل أو الفقرات شبه المكررة أو شديدة التشابه من النص. تستخدم هذه الأداة خوارزمية مسافة ليفنشتين لحساب التشابه بين مقاطع النص وتحذف تلك التي تتجاوز عتبة التشابه المحددة.

عتبة التشابه هي نسبة مئوية (50-100%) تحدد مدى تشابه مقطعين نصيين حتى يُعتبرا مكررين. 100% تعني المطابقة التامة فقط، بينما القيم الأقل (مثل 80%) تسمح بفوارق صغيرة.

نعم، تدعم الأداة وضعين: إزالة التكرار على مستوى الجملة (تقسيم النص بالنقاط وعلامات التعجب والاستفهام) وإزالة التكرار على مستوى الفقرة (التقسيم بسطور جديدة).

تحدد المطابقة الضبابية مقاطع النصوص المتشابهة لكنها غير متطابقة. هذا مفيد لاكتشاف المكررات ذات التغييرات الطفيفة مثل علامات الترقيم المختلفة أو الأخطاء المطبعية الصغيرة أو الصياغة المتشابهة قليلاً.

تتعامل المطابقة غير الحساسة لحالة الأحرف (الافتراضية) مع 'مرحبا' و'مرحبا' باعتبارهما متطابقتين، وهو ما يُفضل عادةً لإزالة تكرار المحتوى. استخدم المطابقة الحساسة إذا كانت فوارق الحالة مهمة في محتواك.

افتراضياً، تحتفظ الأداة بأول ظهور وتحذف التكرارات اللاحقة. يمكنك إلغاء تحديد 'الاحتفاظ بأول ظهور' للاحتفاظ بالظهور الأخير عوضاً عن ذلك.

تحدد الأداة جميع مجموعات المكررات بشكل منفصل. إذا تطابق المقطع A مع B، وتطابق C مع D، فإنهما يشكلان مجموعتين مختلفتين. يُظهر التحليل عدد مجموعات المكررات التي وُجدت ونسب تشابهها.

تشمل حالات الاستخدام الشائعة: تنظيف المقالات ذات الجمل المتكررة، ودمج المستندات ذات المحتوى المتداخل، وحذف الفقرات المكررة من نتائج استخراج البيانات، وتوحيد الردود المتشابهة على الاستطلاعات.

نعم، يمكن للأداة معالجة مستندات بأحجام مختلفة. ومع ذلك، قد يختلف الأداء مع النصوص الكبيرة جداً (أكثر من 10,000 جملة أو فقرة) بسبب التعقيد الحسابي للمطابقة الضبابية.

خوارزمية مسافة ليفنشتين دقيقة للغاية في اكتشاف تشابه النصوص بناءً على الفوارق على مستوى الأحرف. تحسب الحد الأدنى من التعديلات الفردية للأحرف اللازمة لتحويل سلسلة إلى أخرى.

تحافظ الأداة على محتوى مقاطع النص المزالة التكرار منها لكنها تعيد تنسيقها بناءً على الوضع المحدد. وضع الجمل يجمع الجمل المزالة تكرارها بنقاط ومسافات، بينما وضع الفقرات يفصل بينها بأسطر مزدوجة.

يُظهر التحليل: العدد الأصلي للجمل/الفقرات، العدد بعد إزالة التكرار، عدد المكررات المحذوفة، نسبة التخفيض، وتفاصيل كل مجموعة من المكررات بما في ذلك درجات التشابه.