★ 2
khammoon 开源：泰语词素分词器，100 万参数可在 CPU 高效推理
研究者提出在词素层面处理泰语分词，以最小语义单位 khammoon 消除复合词边界歧义。团队将语言学原则转为标注准则（人类一致性 κ≈0.99），用 LLM 扩量标注并由人工纠错，训练出 100 万参数的卷积 BiLSTM 分词器，域外文本边界 F1 达 0.992。准则、数据集、模型与库均已公开。
arXiv NLP2 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出在词素层面处理泰语分词，以最小语义单位 khammoon 消除复合词边界歧义。团队将语言学原则转为标注准则（人类一致性 κ≈0.99），用 LLM 扩量标注并由人工纠错，训练出 100 万参数的卷积 BiLSTM 分词器，域外文本边界 F1 达 0.992。准则、数据集、模型与库均已公开。