arXiv cs.AI·33 天前★ 2

Token边界的压缩代价与预测

原文标题：The Price of Token Boundaries: Compression Certificates and Prediction

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文量化预分词边界带来的压缩代价，通过最短路径与词表预算选择从两侧界定最小token数，并用独立整数检查器验证。在英文维基百科上，边界使最优token数增加28.3%至36.8%，BPE高于受限下界2.1%但高于无限制下界10.9%。研究还引入边界许可机制，发现许可10%词表预算即可恢复大部分token数削减，揭示压缩与预测偏好不同词典。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 预分词边界带来的压缩代价被同边界比较所掩盖，缺乏量化。
方法: 用最短路径与词表预算从两侧界定最小 token 数，并引入边界许可机制研究中间策略。
结果: 英文维基百科上边界使最优 token 数增加 28.3%–36.8%；BPE 高于受限下界 2.1%、高于无限制下界 10.9%；许可 10% 词表预算恢复 85.2%（英）和 100.0%（中）的削减量。
影响: 说明压缩与预测偏好不同词典，分词器设计需在边界规则与词表预算间权衡。