#字节级模型

研究者改造语言模型以字节序列直接运行

一项新研究提出对语言模型进行改造，使其能够直接在字节序列上操作，而非依赖传统的分词器。该方法有望提升模型对多语言和罕见字符的处理能力，减少分词带来的信息损失。