语言模型字节级改造

一项新研究提出对语言模型进行改造，使其能够直接在字节序列上操作，而非依赖传统的分词器。该方法有望提升模型对多语言和罕见字符的处理能力，减少分词带来的信息损失。

一篇论文挑战语言模型必须依赖显式分词器的假设，证明标准扁平 Transformer 可直接处理原始字节序列，并在参数规模扩大时超越传统子词模型。研究通过 token-superposition 训练与哈希嵌入实现更低最优损失，并发现字节模型会自发形成局部抽象结构，为投机解码带来约 3.4 倍的接受 token 提升。