أداة تقسيم النص

تقوم أداة تقسيم النص بتقسيم وثائق النص الكبيرة إلى أجزاء أصغر وأكثر قابلية للإدارة. وهي مفيدة لمعالجة النصوص مع نماذج الذكاء الاصطناعي التي لها حدود للرموز، وتقسيم المحتوى لتسهيل القراءة، وإنشاء مقاطع للبريد الإلكتروني أو الرسائل القصيرة، وإعداد النص للتحليل أو الترجمة.

تقدم الأداة أربع طرق: 1) الأحرف - التقسيم بعدد أحرف محدد، 2) الكلمات - التقسيم بعدد كلمات مع الحفاظ على حدود الكلمات، 3) الجمل - التقسيم عند حدود الجمل باستخدام علامات الترقيم، 4) الأسطر - التقسيم بفواصل الأسطر.

يسمح التداخل للأجزاء بمشاركة بعض المحتوى للحفاظ على السياق بين المقاطع. على سبيل المثال، مع أجزاء من 100 حرف وتداخل 20 حرفاً، سيتكرر نهاية الجزء الأول في بداية الجزء الثاني. هذا مفيد بشكل خاص لمعالجة الذكاء الاصطناعي.

عند التفعيل، تحاول الأداة تقسيم الأجزاء عند حدود الكلمات بدلاً من قطع الكلمات في المنتصف. إذا وُجد حد كلمة ضمن 80% من حجم الجزء المستهدف، سينتهي الجزء عند تلك الحدود لضمان قابلية القراءة.

لنماذج الذكاء الاصطناعي (GPT-3.5/4): 2000-4000 حرف. للنشر على وسائل التواصل: 280 حرفاً (تويتر) أو 2200 (لينكدإن). للرسائل القصيرة: 160 حرفاً. لعناوين البريد الإلكتروني: 50-60 حرفاً. لسهولة القراءة: 500-1000 حرف لكل جزء.

يحدد تقسيم الجمل حدود الجمل باستخدام علامات الترقيم (النقاط وعلامات التعجب والاستفهام) متبوعة بمسافات بيضاء. ثم تقوم الأداة بتجميع العدد المحدد من الجمل في كل جزء، مع الحفاظ على التدفق الطبيعي للنص.

نعم، يمكنك نسخ جميع الأجزاء إلى الحافظة أو تنزيلها كملف نصي باستخدام الأزرار أعلى النتائج. كل جزء مميز بوضوح برقمه. يمكن أيضاً نسخ الأجزاء الفردية بشكل منفصل.

لكل جزء، تعرض الأداة رقم الجزء وعدد الأحرف وعدد الكلمات. يساعدك هذا على التحقق من أن الأجزاء تلبي متطلباتك وفهم توزيع المحتوى عبر الأجزاء.

لمعالجة الذكاء الاصطناعي، استخدم تداخلاً بنسبة 10-20%. على سبيل المثال، مع أجزاء من 1000 حرف، استخدم تداخلاً من 100-200 حرف. هذا يضمن عدم فقدان السياق المهم بين الأجزاء مع تجنب التكرار المفرط.

إذا كان نصك أقصر من حجم الجزء المحدد، سيُعاد النص بأكمله كجزء واحد. لن تقوم الأداة بإنشاء أجزاء فارغة أو حشو النص، مما يضمن دائماً الحصول على أجزاء ذات معنى وغير فارغة.

نعم، تتعامل الأداة مع أحرف Unicode والرموز الخاصة والنصوص بلغات مختلفة. يكون عد الأحرف دقيقاً لجميع أحرف Unicode. ومع ذلك، يعمل تقسيم الكلمات بشكل أفضل مع اللغات التي تستخدم المسافات كفواصل للكلمات.

تستطيع الأداة التعامل مع كميات كبيرة من النص، لكن الأداء قد يتفاوت حسب المتصفح والجهاز. للوثائق الكبيرة جداً (أكثر من 1 ميجابايت)، فكّر في تقسيمها إلى أقسام أصغر أولاً. تتم جميع العمليات في متصفحك مما يحافظ على خصوصية نصك.