Phonemes to the Rescue: Multilingual Tokenization Based on International Phonetic Alphabet

1. 将标准正字法替换为IPA后，子词分词在24种语言、14种文字系统上整体更紧凑，尤其在Word Fertility、Compression Rate和跨语言公平性指标上稳定优于Text；逻辑支撑是IPA把多脚本映射到共享符号空间，减少了脚本差异和字节长度差异带来的分词偏置。
2. IPA的收益主要集中在非拉丁脚本、未见脚本和复杂正字法语言上，而高资源拉丁语言有时会出现轻微回退；这说明提升并非来自对所有语言的均匀增益，而是来自对原本最受损语言的结构性修正。
3. 在GPT-2 Small预训练与XNLI、PAWS-X微调中，IPA模型总体保持与Text模型相当的准确率，同时获得更短序列和更低推理成本；这表明IPA带来的分词改进没有明显吞噬下游语义建模能力。
4. 结论成立的前提是G2P质量足够可靠：作者也发现少数语言的IPA表现受制于Epitran/Phonemizer的转写误差，说明收益上限取决于前端语音转写质量，而不是IPA本身无条件优越。

在24种语言、14种脚本上构建Text与IPA两套匹配分词器，共32组配置、64个分词器；每组配置同时变化分词算法（BPE/UnigramLM）、词表规模（40k/80k/100k/200k）和数据采样策略（byte-uniform、semantic-uniform、data-proportional、data-smoothed）。分词器训练与GPT-2预训练主要使用18种语言的CulturaX语料，Intrinsic评测在WikiPron与FLORES+上进行，后者还覆盖6种训练未见语言。下游实验使用4个GPT-2 Small模型（12层/12头/768隐藏维，约240M参数），在XNLI（13语言）和PAWS-X（7语言）上做单语、多语和仅英语微调；作者对Text Opt、Text Subopt、IPA Opt、IPA Subopt四种模型做对照，并在单张A100/H100 GPU上完成训练。