Ferramenta de Deduplicação de Texto

A deduplicação de texto é o processo de identificar e remover frases ou parágrafos quase duplicados ou altamente similares do texto. Esta ferramenta usa o algoritmo de distância de Levenshtein para calcular a similaridade entre segmentos de texto e remove aqueles que excedem o limiar de similaridade especificado.

O limiar de similaridade é uma porcentagem (50-100%) que determina o quão similares dois segmentos de texto devem ser para serem considerados duplicatas. 100% significa apenas correspondência exata, enquanto valores menores (como 80%) permitem pequenas diferenças.

Sim, a ferramenta suporta dois modos: deduplicação no nível da frase (divide o texto por pontos, pontos de exclamação e pontos de interrogação) e deduplicação no nível do parágrafo (divide por quebras de linha).

A correspondência difusa identifica segmentos de texto que são similares, mas não idênticos. Isso é útil para detectar duplicatas com variações menores como pontuação diferente, pequenos erros de digitação ou redação ligeiramente diferente.

A correspondência sem distinção de maiúsculas/minúsculas (padrão) trata 'Olá' e 'olá' como iguais, o que geralmente é preferido para deduplicação de conteúdo. Use correspondência com distinção se as diferenças de capitalização forem significativas no seu conteúdo.

Por padrão, a ferramenta mantém a primeira ocorrência e remove duplicatas subsequentes. Você pode desmarcar 'Manter primeira ocorrência' para manter a última ocorrência.

A ferramenta identifica todos os grupos de duplicatas separadamente. Se o segmento A corresponder a B, e C corresponder a D, eles formam dois grupos distintos. A análise mostra quantos grupos de duplicatas foram encontrados e suas porcentagens de similaridade.

Os casos de uso comuns incluem: limpeza de artigos com frases repetitivas, fusão de documentos com conteúdo sobreposto, remoção de parágrafos duplicados de resultados de web scraping, e consolidação de respostas similares de pesquisas.

Sim, a ferramenta pode processar documentos de vários tamanhos. No entanto, o desempenho pode variar com textos muito grandes (mais de 10.000 frases ou parágrafos) devido à complexidade computacional da correspondência difusa.

O algoritmo de distância de Levenshtein é altamente preciso para detectar similaridade de texto com base em diferenças no nível de caracteres. Ele calcula o número mínimo de edições de um único caractere necessárias para transformar uma string em outra.

A ferramenta preserva o conteúdo dos segmentos de texto deduplicados, mas os reformata com base no modo selecionado. O modo de frases une frases deduplicadas com pontos e espaços, enquanto o modo de parágrafo as separa com quebras de linha duplas.

A análise mostra: contagem original de frases/parágrafos, contagem após deduplicação, número de duplicatas removidas, porcentagem de redução e detalhes de cada grupo de duplicatas incluindo pontuações de similaridade.