★ 3
字节语言模型论文：扩展、涌现抽象与信息分配
一篇论文挑战语言模型必须依赖显式分词器的假设，证明标准扁平 Transformer 可直接处理原始字节序列，并在参数规模扩大时超越传统子词模型。研究通过 token-superposition 训练与哈希嵌入实现更低最优损失，并发现字节模型会自发形成局部抽象结构，为投机解码带来约 3.4 倍的接受…
Lobsters – Machine Learning22 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇论文挑战语言模型必须依赖显式分词器的假设，证明标准扁平 Transformer 可直接处理原始字节序列，并在参数规模扩大时超越传统子词模型。研究通过 token-superposition 训练与哈希嵌入实现更低最优损失，并发现字节模型会自发形成局部抽象结构，为投机解码带来约 3.4 倍的接受…