文本处理实战:不可见字符、CSV 解析与正则边界的三类静默故障

结论:三类故障的共同点是「不报错」

字符串比对返回 false、正则没有命中、CSV 字段错位——程序照常运行,退出码是 0,问题要到结果被使用时才暴露。它们都发生在文本层,类型系统和编译器给不了任何提示。相关工具与规则汇总在 文本处理速查。

不可见字符:比对失败的隐形原因

从网页、Word、PDF 复制来的文本常混入不占位、不显示的字符:

字符 码位 常见来源
零宽空格 U+200B 网页里的隐藏分隔
零宽连接符 U+200D emoji 组合、波斯语等
不换行空格 U+00A0  、Word 自动排版
BOM U+FEFF UTF-8 文件头
弯引号 U+2018/2019/201C/201D Word 自动替换

后果很具体:trim() 之后字符串还有内容(U+200B 不在 JS 的空白集合里)、^abc$ 匹配不上实际为 \u200Babc 的串、两个文件名肉眼一致却不相等、数据库唯一约束莫名冲突。

排查只能打印码位。 文本统计工具 会逐个列出字符的码位,肉眼看不出的差异在这里一目了然。修复放在入口,而不是在每个比较点打补丁:

const normalize = s => s
  .replace(/[\u200B-\u200D\uFEFF]/g, '')   // 零宽字符与 BOM
  .replace(/\u00A0/g, ' ')                // 不换行空格 → 普通空格
  .replace(/[\u2018\u2019]/g, "'")        // 中文引号 → ASCII
  .normalize('NFKC')                       // 全角 → 半角、兼容字符归一
  .replace(/\r\n/g, '\n')                  // 换行统一
  .trim()

NFKC 会把全角字母数字转成半角(ABC → ABC)、把兼容字符折叠(① → 1),处理粘贴文本时非常关键。它同时会改写下标、上标这类展示型字符,所以只应在数据入口用一次,不要对展示文本反复归一化。

CSV:按行 split 会拆坏记录

RFC 4180 允许字段内包含换行,只要用双引号包裹:

a,b
"line1
line2",c

这是三行文本,但只有两条记录。按 \n split 会得到 3 段,第 2 段是 line2",c,后续所有处理都建立在错误的记录数上。更麻烦的是它不报错:split 总是成功返回数组。

真正的解析器会处理引号转义("")、字段内换行、分隔符转义与 BOM。Python 用 csv 模块,JavaScript 用 papaparse 或 ExcelJS。本站的 Excel 转文本 与 Excel 转 JSON 在导出时也遵循同一套规则。

验证方法:分别统计文件行数与解析器返回的记录数,含引号内换行时两者必然不等。什么时候可以手动 split?只有一个条件:确认文件里没有引号包裹的字段。另外,按分隔符切分与按行切分是两件正交的操作,很多 bug 来自把它们混在一起。

正则替换:先统计,再限定边界

两个常见误解:点号匹配任意字符(a.c 会命中 abc、a1c、a-c);全局替换有连带影响。

把「所有点号换成逗号」时,除了期望的小数点,还会改坏版本号 1.2.3、域名 example.com、IP 地址 192.168.1.1。

  1. 先统计命中数:str.match(re)?.length。预期 5 处却命中 500 处,说明模式写错了。
  2. 用字符类限定:/\d+\.\d+/g 只匹配「数字.数字」,放过版本号与 IP。
  3. 用 \b 卡边界:\bword\b 不会命中 wordsmith。
const text = '1.5 and 1.2.3 and v1.0 and 2.25'
console.log((text.match(/\./g) || []).length)          // 4 —— 所有点
console.log((text.match(/\d+\.\d+/g) || []).length)    // 2 —— 仅小数
text.replace(/\d+\.\d+/g, m => m.replace('.', ','))
// 1,5 and 1.2.3 and v1.0 and 2,25  ← 版本号与 v1.0 未被改动

替换前先统计这一步几乎总被跳过,但它能在几秒内发现绝大多数写错的模式。

去重:先定业务键

b,2
a,1
b,2

按整行去重得到 2 行。但如果重复代表同一个用户 ID 出现了两次,真正的问题是数据本身——应当聚合或报错,而不是静默删行。去重前必须明确:按整行,还是按业务键;按业务键时保留第一条还是最后一条。两种语义完全不同。

自查与验证

  • [ ] 比对失败先打印码位,不靠肉眼
  • [ ] 入口做 NFKC 并去掉零宽字符
  • [ ] CSV 用解析器,不按行 split
  • [ ] 替换前先统计命中数
  • [ ] 用 \d+\. 这类字符类限定边界,不用裸点号
  • [ ] 去重明确按整行还是按业务键

把同一段文本分别从记事本、Word、网页复制三份,粘进 文本统计工具,会看到三份的不可见字符数不同——Word 那份通常带 U+00A0 与弯引号,网页那份可能带 U+200B。这解释了「从 Word 粘来的数据就是匹配不上」。再做一次点号替换,用 文本对比工具 比对前后,也能直观看到不限定边界时版本号被改坏。

常见问题

两段看起来一样的文本为什么比较不相等?

几乎总是因为看不见的字符。 从网页、Word、PDF 复制的文本常混入零宽空格(U+200B)、零宽连接符(U+200D)、不换行空格(U+00A0)、字节顺序标记(BOM),以及各种引号变体(' ' 对 ' ')。这些字符不占位、不显示,但在字符串比较、正则匹配、trim 之后都还在。典型症状:trim() 之后还有内容、^abc$ 匹配不上、文件名对不上但肉眼完全一致。排查方法不要靠肉眼——把字符码打印出来(本站的 [文本统计工具](/text-stats.html) 会显示每个字符的码位)。预防方法是在入口做规范化:去零宽字符、U+00A0 转普通空格、NFKC 归一化。

CSV 能不能用 split('\n') 处理?

不能,除非你确认文件里没有引号包裹的字段。 RFC 4180 明确允许字段内包含换行,只要用双引号包裹。所以一行 a,b 后面跟着 "line1 line2",c 的文件,按行 split 会把一条记录拆成两半,后续处理全错,而且不报错。正确做法是用真正的 CSV 解析器(Python 的 csv 模块、papaparse、ExcelJS 等),它们会处理引号转义、字段内换行与分隔符转义。手动 split 只能用于「确认无引号无换行」的简单格式,或者用分隔符(逗号/分号/制表符)切分而不是按行。

正则里用 . 匹配分隔符有什么问题?

点号在正则里匹配任意字符,不是字面的点。 a.c 会匹配 abc、a1c、a-c,任何长度为 3 且首尾是 a、c 的字符串。所以用它做分隔符转换会大面积误伤。另外一个更隐蔽的问题是全局替换的连带影响:把所有点号换成逗号,会同时改掉小数点、版本号(1.2.3)、域名、IP 地址。正确做法:① 替换前先统计命中数(str.match(re) 取长度),确认范围;② 用字符类限定边界,比如 /\d+\.\d+/g 只匹配小数点而不动版本号;③ 用 \b 卡词边界。工具选择上,[文本统计工具](/text-stats.html) 可以快速统计命中数量,替换前务必先做这一步。

← 返回博客首页