★ 3
研究者改造语言模型以字节序列直接运行
一项新研究提出对语言模型进行改造，使其能够直接在字节序列上操作，而非依赖传统的分词器。该方法有望提升模型对多语言和罕见字符的处理能力，减少分词带来的信息损失。
Hacker News25 天前
#分词
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
TimeFT：从频域视角重构时间序列分词
论文指出当前时间序列分词策略会引入频谱失真，使表示偏离趋势、周期等真实模式，并从频域推导失真发生的边界条件。作者提出无参数分词器 TimeFT，通过频域划分、频移与奈奎斯特采样实现近无失真分词，在预测、分类与异常检测任务上稳定提升性能。
arXiv cs.LG11 天前
★ 2
Token边界的压缩代价与预测
论文量化预分词边界带来的压缩代价，通过最短路径与词表预算选择从两侧界定最小token数，并用独立整数检查器验证。在英文维基百科上，边界使最优token数增加28.3%至36.8%，BPE高于受限下界2.1%但高于无限制下界10.9%。研究还引入边界许可机制，发现许可10%词表预算即可恢复大部分to…
arXiv cs.AI33 天前