Diviseur de Texte

Un diviseur de texte divise les grands documents textuels en morceaux plus petits et plus gérables. Ceci est utile pour traiter du texte avec des modèles d'IA ayant des limites de tokens, décomposer du contenu pour une lecture plus facile, créer des segments d'e-mail ou de SMS, et préparer du texte pour des tâches d'analyse ou de traduction.

L'outil propose quatre méthodes : 1) Caractères - divise par nombre exact de caractères, 2) Mots - divise par nombre de mots en préservant les limites des mots, 3) Phrases - divise par limites de phrases en utilisant la ponctuation, 4) Lignes - divise par sauts de ligne.

Le chevauchement permet aux morceaux de partager du contenu pour maintenir le contexte entre les segments. Par exemple, avec des morceaux de 100 caractères et un chevauchement de 20 caractères, la fin du morceau 1 sera répétée au début du morceau 2. C'est particulièrement utile pour le traitement IA.

Lorsqu'il est activé, l'outil essaie de diviser les morceaux aux limites des mots plutôt que de couper les mots en deux. Si une limite de mot est trouvée dans les 80% de la taille cible du morceau, le morceau se terminera à cette limite, assurant la lisibilité.

Pour les modèles d'IA (GPT-3.5/4) : 2000-4000 caractères. Pour les réseaux sociaux : 280 caractères (Twitter) ou 2200 (LinkedIn). Pour les SMS : 160 caractères. Pour les objets d'e-mail : 50-60 caractères. Pour la lisibilité : 500-1000 caractères par morceau.

La division par phrases identifie les limites des phrases en utilisant des signes de ponctuation (points, points d'exclamation, points d'interrogation) suivis d'espaces blancs. L'outil regroupe ensuite le nombre spécifié de phrases dans chaque morceau, préservant le flux naturel du texte.

Oui, vous pouvez copier tous les morceaux dans votre presse-papiers ou les télécharger sous forme de fichier texte en utilisant les boutons au-dessus des résultats. Chaque morceau est clairement identifié par son numéro. Les morceaux individuels peuvent également être copiés séparément.

Pour chaque morceau, l'outil affiche le numéro du morceau, le nombre de caractères et le nombre de mots. Cela vous aide à vérifier que les morceaux répondent à vos exigences et à comprendre la distribution du contenu.

Pour le traitement IA, utilisez un chevauchement de 10-20%. Par exemple, avec des morceaux de 1000 caractères, utilisez un chevauchement de 100-200 caractères. Cela garantit que le contexte important n'est pas perdu entre les morceaux tout en évitant la redondance excessive.

Si votre texte est plus court que la taille de morceau spécifiée, tout le texte sera renvoyé comme un seul morceau. L'outil ne créera pas de morceaux vides ni ne rembourrera le texte, garantissant toujours des morceaux significatifs et non vides.

Oui, l'outil gère les caractères Unicode, les symboles spéciaux et le texte dans différentes langues. Le comptage des caractères est précis pour tous les caractères Unicode. Cependant, la division par mots fonctionne mieux avec les langues qui utilisent des espaces comme séparateurs de mots.

L'outil peut gérer de grandes quantités de texte, mais les performances peuvent varier selon votre navigateur et votre appareil. Pour les très grands documents (plus de 1 Mo), pensez à les diviser d'abord en sections plus petites. Tout le traitement se fait dans votre navigateur.