结论:三类故障的共同点是「不报错」
字符串比对返回 false、正则没有命中、CSV 字段错位——程序照常运行,退出码是 0,问题要到结果被使用时才暴露。它们都发生在文本层,类型系统和编译器给不了任何提示。相关工具与规则汇总在 文本处理速查。
不可见字符:比对失败的隐形原因
从网页、Word、PDF 复制来的文本常混入不占位、不显示的字符:
| 字符 | 码位 | 常见来源 |
|---|---|---|
| 零宽空格 | U+200B | 网页里的隐藏分隔 |
| 零宽连接符 | U+200D | emoji 组合、波斯语等 |
| 不换行空格 | U+00A0 | 、Word 自动排版 |
| BOM | U+FEFF | UTF-8 文件头 |
| 弯引号 | U+2018/2019/201C/201D | Word 自动替换 |
后果很具体:trim() 之后字符串还有内容(U+200B 不在 JS 的空白集合里)、^abc$ 匹配不上实际为 \u200Babc 的串、两个文件名肉眼一致却不相等、数据库唯一约束莫名冲突。
排查只能打印码位。 文本统计工具 会逐个列出字符的码位,肉眼看不出的差异在这里一目了然。修复放在入口,而不是在每个比较点打补丁:
const normalize = s => s
.replace(/[\u200B-\u200D\uFEFF]/g, '') // 零宽字符与 BOM
.replace(/\u00A0/g, ' ') // 不换行空格 → 普通空格
.replace(/[\u2018\u2019]/g, "'") // 中文引号 → ASCII
.normalize('NFKC') // 全角 → 半角、兼容字符归一
.replace(/\r\n/g, '\n') // 换行统一
.trim()
NFKC 会把全角字母数字转成半角(ABC → ABC)、把兼容字符折叠(① → 1),处理粘贴文本时非常关键。它同时会改写下标、上标这类展示型字符,所以只应在数据入口用一次,不要对展示文本反复归一化。
CSV:按行 split 会拆坏记录
RFC 4180 允许字段内包含换行,只要用双引号包裹:
a,b
"line1
line2",c
这是三行文本,但只有两条记录。按 \n split 会得到 3 段,第 2 段是 line2",c,后续所有处理都建立在错误的记录数上。更麻烦的是它不报错:split 总是成功返回数组。
真正的解析器会处理引号转义("")、字段内换行、分隔符转义与 BOM。Python 用 csv 模块,JavaScript 用 papaparse 或 ExcelJS。本站的 Excel 转文本 与 Excel 转 JSON 在导出时也遵循同一套规则。
验证方法:分别统计文件行数与解析器返回的记录数,含引号内换行时两者必然不等。什么时候可以手动 split?只有一个条件:确认文件里没有引号包裹的字段。另外,按分隔符切分与按行切分是两件正交的操作,很多 bug 来自把它们混在一起。
正则替换:先统计,再限定边界
两个常见误解:点号匹配任意字符(a.c 会命中 abc、a1c、a-c);全局替换有连带影响。
把「所有点号换成逗号」时,除了期望的小数点,还会改坏版本号 1.2.3、域名 example.com、IP 地址 192.168.1.1。
- 先统计命中数:
str.match(re)?.length。预期 5 处却命中 500 处,说明模式写错了。 - 用字符类限定:
/\d+\.\d+/g只匹配「数字.数字」,放过版本号与 IP。 - 用
\b卡边界:\bword\b不会命中wordsmith。
const text = '1.5 and 1.2.3 and v1.0 and 2.25'
console.log((text.match(/\./g) || []).length) // 4 —— 所有点
console.log((text.match(/\d+\.\d+/g) || []).length) // 2 —— 仅小数
text.replace(/\d+\.\d+/g, m => m.replace('.', ','))
// 1,5 and 1.2.3 and v1.0 and 2,25 ← 版本号与 v1.0 未被改动
替换前先统计这一步几乎总被跳过,但它能在几秒内发现绝大多数写错的模式。
去重:先定业务键
b,2
a,1
b,2
按整行去重得到 2 行。但如果重复代表同一个用户 ID 出现了两次,真正的问题是数据本身——应当聚合或报错,而不是静默删行。去重前必须明确:按整行,还是按业务键;按业务键时保留第一条还是最后一条。两种语义完全不同。
自查与验证
- [ ] 比对失败先打印码位,不靠肉眼
- [ ] 入口做 NFKC 并去掉零宽字符
- [ ] CSV 用解析器,不按行 split
- [ ] 替换前先统计命中数
- [ ] 用
\d+\.这类字符类限定边界,不用裸点号 - [ ] 去重明确按整行还是按业务键
把同一段文本分别从记事本、Word、网页复制三份,粘进 文本统计工具,会看到三份的不可见字符数不同——Word 那份通常带 U+00A0 与弯引号,网页那份可能带 U+200B。这解释了「从 Word 粘来的数据就是匹配不上」。再做一次点号替换,用 文本对比工具 比对前后,也能直观看到不限定边界时版本号被改坏。