★ 2
研究：塔加洛语分词形态正确性影响有限
研究通过打乱语素对照实验，检验形态学正确性对分词的实际贡献。作者构建 MorphAustro-Tok 分词器，将词根作为连续单元并附加中缀标记，在 33 次运行中较 BPE 基线提升塔加洛语机器翻译 0.84 至 3.40 chrF++ 分。但打乱分析带来的差异小于种子间波动，说明该规模下形态正确…
arXiv NLP17 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究通过打乱语素对照实验，检验形态学正确性对分词的实际贡献。作者构建 MorphAustro-Tok 分词器，将词根作为连续单元并附加中缀标记，在 33 次运行中较 BPE 基线提升塔加洛语机器翻译 0.84 至 3.40 chrF++ 分。但打乱分析带来的差异小于种子间波动，说明该规模下形态正确…
论文量化预分词边界带来的压缩代价，通过最短路径与词表预算选择从两侧界定最小token数，并用独立整数检查器验证。在英文维基百科上，边界使最优token数增加28.3%至36.8%，BPE高于受限下界2.1%但高于无限制下界10.9%。研究还引入边界许可机制，发现许可10%词表预算即可恢复大部分to…