关于 重复行删除工具
重复行删除工具在浏览器本地对文本按行去重，保留首次出现的顺序。支持大小写敏感和大小写不敏感两种模式：敏感模式下 Foo 和 foo 视为不同行，不敏感模式下统一按小写比较。去重算法基于 ES6 Set 数据结构的 O(1) 查找特性，无需排序即可高效处理数万行文本——这正是它与"先排序再相邻去重"写法的本质区别，后者会打乱原有相对顺序。处理完成后显示删除的重复行数量，便于核对结果。用起来有几个要注意的点：模式选错会把本应区分的记录误删，比如在大小写不敏感模式下去重日志，"ERROR" 与 "error" 会被当成同一条，若二者语义不同就会丢失信息；多个空行默认也被去重成一行。若你想要更细的维度，可以先做频次统计再决定阈值，这样既能收敛异常样本，又不会丢掉有价值的重复信息。去重结果建议与原始行数对照核对。所有操作在浏览器本地完成，不上传任何数据，适合处理日志、名单、词表等需要唯一化的文本。
最常见的误用是没有先定义「什么算重复」：按整行比较、按去首尾空白后比较、还是忽略大小写，结果差别很大，而口径未声明时下游会误以为拿到的是同一份结果。另一个误用是忽视业务语义——如果每行都带各自的时间戳，实际上没有一行重复，此时去重毫无作用，需要先剥离时间戳再比较。
与「保留哪一条」的决策配合使用时需要额外考虑：如果每行除了标识还有时间或版本字段，那么去重前应先明确保留最早还是最新的一条，这属于业务判断而不是文本操作。稳妥做法是先把数据导入表格或脚本，按业务键分组并显式指定取哪条，再把确定的集合一次性写回；把这种判断交给文本去重工具，等于用一个通用规则替代业务规则，出错时也很难发现。
执行后建议保留一份前后对照，至少记录去掉了多少行、以及被去掉的首尾几行内容。原因是去重属于不可逆操作，一旦发现口径选错（例如本该忽略大小写却按原样比较），只有对照记录才能说明被删掉了什么、需要从哪里恢复。批量处理上百万行时，先在小样本上确认口径再跑全量，能避免在大数据上重复一次昂贵且不可逆的操作。
一个常见前提是处理后的行序会变化：多数实现保留首次出现的顺序，少数实现会按内容重排。若下游依赖行的先后顺序（例如按时间排列的日志），就必须先确认实现的行为，否则去重虽然正确但顺序被打乱，反而制造出更难排查的问题。交付前把顺序约定写清楚，比自己记着更可靠。
与用表格或数据库去重相比，工具的适用边界是「数据量不大且结构简单」：几十万行以内用它足够快，且不必导入导出；数据量很大或需要按业务键分组保留特定记录时，表格与数据库更合适，因为它们能表达「保留哪一条」这种判断，而文本工具只能按内容比较。
实现原理
去重必须先把「什么是重复」说清楚：按整行比较、按去首尾空白后比较、还是忽略大小写，结果差别很大；另外是否保留首次出现也会影响后续分析。它只做文本层面的比较，不理解业务语义——如果每行都带时间戳，那么几乎所有行都「不重复」，去重便没有意义。
a\nb\na\n保留首次出现 → a\nb（去掉 1 行）；若每行都带不同时间戳则实际无重复本页实测数据
| 保留首次出现 | a/b/a/c/b → a/b/c，顺序按首次出现，删的是后续重复 |
|---|---|
| 连续空行 | a + 三个空行 + a → 输出 a 与一个换行，重复的空行被合并而不是全部删除 |
| 大小写敏感 | A 与 a 默认视为不同行（保留两条）；取消勾选后才合并成一 条 |
| 不 trim 内容 | " 甲 " 与 "甲" 被视为不同的两行——工具只比整行内容，不做空白归一化，这样不会破坏缩进敏感的代码/日志 |
去重工具最大的争议点是什么算「同一行」，而 3 种判定会给出完全不同的结果：严格逐字节比较（本页默认）、忽略大小写、忽略首尾空白。默认用最严格的那种是对的——因为误删的代价（丢日志、丢代码）远高于漏删。使用提醒：①若数据里有缩进差异（YAML、代码块），先确认是否需要保留缩进，本页不会替你 trim；②空行通常希望保留一个而不是全删，本页的处理是合并重复空行；③去重后行号会变，报错定位需要重新对——建议先备份原始文件。
使用方法
- 打开「重复行删除工具」
- 粘贴待处理的文本
- 根据需要调整输出选项
- 点击「处理」按钮，结果实时显示
- 复制或导出结果
使用场景
- 日志去重 — 从重复的日志条目中保留唯一记录，减少日志分析时的干扰项。
- 数据导出清洗 — 去除 CSV 或 TSV 数据中的重复行，保留首次出现的数据记录。
- 代码片段去重 — 清理代码中重复的 import 语句或配置行，保持代码整洁。
- 词表去重 — 对关键词列表或停用词表去重，确保每个词条只出现一次。
- ID 列表去重 — 去除用户 ID、订单号等列表中的重复项，生成唯一标识符集合。
- 邮件收件人去重 — 把邮件群发名单按行去重，避免同一收件人收到多封重复邮件。
常见问题
去重后会保留原始顺序吗？
会。工具保留每行首次出现的顺序，后续重复行被删除，不会对文本重新排序。
大小写敏感和不敏感有什么区别？
敏感模式下 Foo 和 foo 是不同行都保留；不敏感模式下统一转小写比较，只保留先出现的那个。
模式选错会误删吗？
会。不敏感模式会把仅大小写不同的行合并，若语义不同（如日志中的 ERROR/error）就会丢信息，处理前先确认模式。
能处理多少行文本？
基于 ES6 Set 的 O(1) 查找，数万行文本可在毫秒级完成去重，适合处理大型日志和数据文件。
能顺便统计每行出现次数吗？
本工具主打去重、保留首次出现，不直接统计频次；如需频次信息建议配合文本统计工具或自行排序分组后再决定去重阈值。
空行会被当作重复行删除吗？
默认情况下多个空行也会被去重只保留一个。如需完全删除空行，请配合使用空行删除工具。
数据安全吗？
安全。所有去重操作在浏览器本地完成，不发送任何网络请求，可安全处理含敏感信息的文本。
去掉重复行后顺序变了？
如果工具用「集合」去重，顺序不保证；需要保持首次出现顺序时选「保留原始顺序」模式。处理日志时顺序通常有意义，去重前先确认模式，否则时间线会乱。