字符编码对照表

实战片段

要点：① 读文件先剥 BOM，写 JSON 与接口响应绝不能加 BOM，写 CSV 反而要加（让 Excel 识别 UTF-8）；② 扩展名不携带编码信息，不能靠 if (ext === ’.csv’) 判断；③ 检测顺序是 BOM → 字节合法性探测 → 用户指定 → 启发式猜测（带置信度）；④ 双重乱码一旦落库信息已丢失，只能从原始数据恢复，所以要在入口就阻断；⑤ 全链路只允许 UTF-8，转换只在明确边界发生。

// ① 检测 BOM（读文件前必做）
function stripBom(buf) {
  const b = new Uint8Array(buf)
  if (b.length >= 3 && b[0] === 0xef && b[1] === 0xbb && b[2] === 0xbf) return b.slice(3)
  return b
}

// ② 按 BOM 判断 UTF-16 / UTF-8
function sniffEncoding(buf) {
  const b = new Uint8Array(buf)
  if (b.length >= 2 && b[0] === 0xff && b[1] === 0xfe) return 'utf-16le'
  if (b.length >= 2 && b[0] === 0xfe && b[1] === 0xff) return 'utf-16be'
  if (b.length >= 3 && b[0] === 0xef && b[1] === 0xbb && b[2] === 0xbf) return 'utf-8-bom'
  return 'unknown'   // 未命中就走内容探测或让用户选
}

// ③ 🔴 带 BOM 的 JSON 会让 JSON.parse 直接抛错
const badJson = new TextDecoder('utf-8').decode(
  new Uint8Array([0xef, 0xbb, 0xbf, ...new TextEncoder().encode('{"a":1}')]))
try { JSON.parse(badJson) } catch (e) { console.log('抛错:', e.message) }   // Unexpected token

// ④ 读取 CSV：先剥 BOM，再按声明/探测的编码解码
import { parse } from 'papaparse'
function readCsv(buf, encoding = 'utf-8') {
  const text = new TextDecoder(encoding).decode(stripBom(buf))
  return parse(text, { header: true, skipEmptyLines: true })
}

// ⑤ 写入侧：JSON 绝不加 BOM；CSV 加 BOM（让 Excel 正确识别 UTF-8）
const jsonStr = JSON.stringify({ a: 1 })
const csvStr = '' + 'name
age
'          // BOM 前置
console.log(jsonStr.charCodeAt(0) === 0xfeff)        // false ✅

// ⑥ 检测是否发生双重乱码（出现典型乱码字符）
const mojibake = /[ÃÂæ¼][€-￿]/
console.log(mojibake.test('æ¼ ä¸­æ–‡'))             // true ⇒ 需从原始数据恢复