文本分割器
按字符、单词、句子或换行符将大文本划分为较小的块。非常适合AI处理和内容管理。
分割配置
在此输入或粘贴您的文本...
相关工具
关于文本分割器
工作原理
- 将大文本分割成更小、更易管理的块
- 支持按字符、单词、句子或行分割
- 包含重叠选项以保持块之间的上下文
- 按字符分割时保留单词边界
- 提供即时预览和复制/下载功能
常见使用场景
- 为有令牌限制的AI模型准备文本
- 分解大文档以便于阅读
- 创建电子邮件或短信分段
- 分割社交媒体帖子内容
- 处理文本数据进行分析或翻译
常见问题
什么是文本分割器,我为什么需要它?
文本分割器将大型文本文档分割成更小、更易管理的块。这对于处理有令牌限制的AI模型、分解内容以便于阅读、创建电子邮件或短信分段,以及准备文本进行分析或翻译任务非常有用。
有哪些不同的分割方式?
该工具提供四种分割方式:1)字符 - 按精确字符数分割,2)单词 - 按单词数分割同时保留单词边界,3)句子 - 使用标点符号按句子边界分割,4)行 - 按换行符分割。每种方式适合不同的使用场景。
重叠功能如何工作?
重叠允许块之间共享部分内容以保持段落之间的上下文。例如,100字符的块和20字符的重叠,块1的末尾将重复在块2的开头。这对于上下文跨块很重要的AI处理特别有用。
按字符分割时「保留单词」是什么意思?
启用后,工具尝试在单词边界处分割块,而不是将单词切成两半。如果在目标块大小的80%范围内找到单词边界,块将在该边界处结束。这确保了可读性,同时接近所需的字符数。
不同用途推荐的块大小是多少?
对于AI模型(GPT-3.5/4):2000-4000字符。社交媒体帖子:280字符(Twitter)或2200字符(LinkedIn)。短信:160字符。电子邮件主题:50-60字符。可读性:每块500-1000字符。
按句子分割如何工作?
句子分割使用标点符号(句号、感叹号、问号)后跟空白符来识别句子边界。然后工具将指定数量的句子分组到每个块中,保留文本的自然流动。
我可以一次下载或复制所有块吗?
是的,您可以使用结果上方的按钮将所有块复制到剪贴板或下载为文本文件。每个块都用其编号清晰标记,便于识别。也可以单独复制各个块。
每个块显示哪些信息?
对于每个块,工具显示块编号、字符数和单词数。这有助于您验证块是否满足您的要求,并了解内容在各块之间的分布情况。
AI处理时如何使用重叠?
对于AI处理,使用10-20%的重叠来保持上下文。例如,对于1000字符的块,使用100-200字符的重叠。这确保块之间不会丢失重要上下文,同时避免过度冗余。
如果我的文本比块大小短会怎样?
如果您的文本比指定的块大小短,整个文本将作为单个块返回。工具不会创建空块或填充文本,确保您始终从输入文本获得有意义的非空块。
我可以分割包含特殊字符或不同语言的文本吗?
是的,工具处理Unicode字符、特殊符号和不同语言的文本。字符计数对所有Unicode字符都是准确的。但是,单词分割最适合使用空格作为单词分隔符的语言(如英语、法语、德语等)。
我可以分割的文本量有限制吗?
工具可以处理大量文本,但性能可能因浏览器和设备而异。对于非常大的文档(超过1MB),考虑先将其分成较小的部分。所有处理在您的浏览器中进行,文本保持私密和安全。