Text-Deduplizierungswerkzeug

Textdeduplizierung ist der Prozess der Identifizierung und Entfernung von fast duplizierten oder sehr ähnlichen Sätzen oder Absätzen aus einem Text. Dieses Werkzeug verwendet den Levenshtein-Distanz-Algorithmus, um die Ähnlichkeit zwischen Textsegmenten zu berechnen und entfernt diejenigen, die den angegebenen Ähnlichkeitsschwellenwert überschreiten.

Der Ähnlichkeitsschwellenwert ist ein Prozentsatz (50-100%), der bestimmt, wie ähnlich zwei Textsegmente sein müssen, um als Duplikate betrachtet zu werden. 100% bedeutet nur exakte Übereinstimmung, während niedrigere Werte (wie 80%) geringfügige Unterschiede erlauben.

Ja, das Werkzeug unterstützt zwei Modi: Deduplizierung auf Satzebene (teilt Text durch Punkte, Ausrufe- und Fragezeichen) und Deduplizierung auf Absatzebene (teilt durch Zeilenumbrüche). Wählen Sie den Modus, der am besten zu Ihrer Inhaltsstruktur passt.

Unscharfer Abgleich identifiziert Textsegmente, die ähnlich, aber nicht identisch sind. Dies ist nützlich für die Erkennung von Duplikaten mit geringfügigen Variationen wie unterschiedlicher Interpunktion, kleinen Tippfehlern oder leicht unterschiedlichen Formulierungen.

Groß-/Kleinschreibung ignorieren (Standard) behandelt 'Hallo' und 'hallo' als identisch, was für die Inhalts-Deduplizierung normalerweise bevorzugt wird. Verwenden Sie die groß-/kleinschreibungssensitive Übereinstimmung, wenn Großschreibungsunterschiede in Ihren Inhalten bedeutsam sind.

Standardmäßig behält das Werkzeug das erste Vorkommen und entfernt nachfolgende Duplikate. Sie können 'Erstes Vorkommen behalten' deaktivieren, um stattdessen das letzte Vorkommen zu behalten.

Das Werkzeug identifiziert alle Duplikatsgruppen separat. Wenn Textsegment A mit B übereinstimmt und C mit D, bilden sie zwei verschiedene Gruppen. Die Analyse zeigt Ihnen, wie viele Duplikatsgruppen gefunden wurden und ihre Ähnlichkeitsprozentsätze.

Häufige Anwendungsfälle sind: Bereinigung von Artikeln mit sich wiederholenden Sätzen, Zusammenführen von Dokumenten mit überlappenden Inhalten, Entfernen doppelter Absätze aus Web-Scraping-Ergebnissen und Konsolidierung ähnlicher Umfrageantworten.

Ja, das Werkzeug kann Dokumente verschiedener Größen verarbeiten. Bei sehr großen Texten (über 10.000 Sätze oder Absätze) kann die Leistung aufgrund der Berechnungskomplexität des unscharfen Abgleichs variieren.

Der Levenshtein-Distanz-Algorithmus ist sehr genau bei der Erkennung von Textähnlichkeiten basierend auf Unterschieden auf Zeichenebene. Er berechnet die Mindestanzahl von Einzelzeichenbearbeitungen, die benötigt werden, um eine Zeichenkette in eine andere umzuwandeln.

Das Werkzeug bewahrt den Inhalt der deduplizierten Textsegmente, formatiert sie jedoch basierend auf dem ausgewählten Modus neu. Der Satzmodus verbindet deduplizierte Sätze mit Punkten und Leerzeichen, während der Absatzmodus sie durch doppelte Zeilenumbrüche trennt.

Die Analyse zeigt: ursprüngliche Anzahl von Sätzen/Absätzen, Anzahl nach der Deduplizierung, Anzahl der entfernten Duplikate, Reduzierungsprozentsatz und Details jeder Duplikatsgruppe einschließlich Ähnlichkeitswerten.