在线文本去重工具

完整使用指南

文本去重的核心：先确定什么才算“相同”

“北京”和“ 北京 ”肉眼看起来一样，但前后空格不同；Apple 和 apple 只差大小写；同一个网址可能带有末尾斜杠或追踪参数。工具可以按行删除完全重复内容，并提供忽略首尾空格、英文大小写、空白行和排序选项。它不会擅自删除一行中间的空格，也不会猜测两个不同写法是否代表同一个对象。

使用步骤

1. 把原始内容粘贴到左侧，每行一条记录。
2. 一般保持“忽略首尾空格”和“删除空白行”。
3. 处理英文关键词、邮箱域名或网址时，可勾选“忽略英文大小写”。
4. 需要按顺序整理时勾选“按文字排序”。
5. 点击开始去重，对比原始行数、保留行数和删除数量，再复制结果。

四个选项分别会做什么

忽略首尾空格

把每行开头和结尾的空格去掉后再比较。“上海”和“ 上海 ”会被视为重复，但“上 海”中间的空格会保留。

忽略英文大小写

Apple、APPLE 和 apple 会被视为同一条，结果保留第一次出现的写法。处理密码、区分大小写的编号或部分代码时不要勾选。

删除空白行

去掉没有内容的行。整理表格复制数据时通常应该开启；如果空行本身代表分组或段落结构，则不要使用按行去重。

按文字排序

去重后按中文本地化和数字顺序排列。排序会改变原顺序，如果原始顺序代表排名、时间或优先级，不要勾选。

名单去重的正确方法

姓名不能可靠代表唯一的人。两位“张伟”可能是不同对象，同一人也可能用过不同昵称。名单去重应优先使用学号、工号、手机号后四位或系统 ID 作为唯一标识。为了保护隐私，不要把完整身份证号和不必要的个人信息粘贴到任何工具中。

关键词去重

SEO 关键词和选题列表常出现全角半角、空格、大小写和同义词问题。本工具能处理完全重复和大小写差异，但“图片压缩”和“压缩图片”仍是两条不同文本。去重后还要人工判断同义词、包含关系和搜索意图，不能只看行数减少。

网址去重

以下网址在文本上不同，但可能指向同一页面：

• http 与 https 不同。
• 末尾有无斜杠不同。
• www 与无 www 不同。
• 带 utm_source 等追踪参数不同。
• 参数顺序不同。

本工具不会自动规范化网址，因为随意删除参数可能改变页面内容。网址清单应先确定规范规则，再进行去重。

从 Excel 或 Word 复制数据时注意什么

Excel 多列内容直接复制后会包含制表符，一整行仍会作为一个项目。只需要某一列时，应先在表格中复制该列。合并单元格、公式结果、隐藏空格和换行可能造成肉眼相同但实际不同，去重前先检查样本。

去重结果为什么保留第一条

当多条记录被判定为重复时，工具保留最先出现的那条原始写法。这对按时间收集的数据比较直观。如果你想保留最后一条、字段最完整的一条或数值最大的一条，需要在表格或数据库中按业务规则处理。

数据清理推荐顺序

1. 备份原始数据，避免不可逆删除。
2. 只保留需要处理的列或字段。
3. 统一换行、首尾空格和大小写口径。
4. 执行去重并记录删除数量。
5. 抽查被删除项，确认没有误伤不同对象。
6. 按需要排序，再导回 Excel、表格或系统。

隐私和数据量

文本只在当前浏览器中处理，不会上传服务器。浏览器可以处理大量普通文本，但一次粘贴几十万行可能造成页面卡顿。重要业务数据应先脱敏、分批处理，并保留原始备份。

常见问题

工具能删除重复的句子或段落吗？

只要每个句子或段落各占一行，就能按行去重。段落内部重复内容不会自动识别。

为什么看起来一样却没有删除？

可能包含全角空格、不可见字符、不同标点、简繁体或中间空格。需要先做文本规范化，再去重。