★ 2
ETC-Bench 发布:覆盖 12 种语言 181 类现象的转写规范化基准
论文提出评测侧转写规范化(ETC)任务,并发布 ETC-Bench,覆盖 12 种语言、181 类现象,每条为仅目标片段不同的最小对。同时提出兼顾规范化成功与语义保持的 SENA 指标,以及基于分类体系的智能体规范化技能 TACS。实验显示 TACS 智能体在共有语言上优于基线系统。
arXiv NLP5 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出评测侧转写规范化(ETC)任务,并发布 ETC-Bench,覆盖 12 种语言、181 类现象,每条为仅目标片段不同的最小对。同时提出兼顾规范化成功与语义保持的 SENA 指标,以及基于分类体系的智能体规范化技能 TACS。实验显示 TACS 智能体在共有语言上优于基线系统。
研究者发布 sk-bench,一个面向斯洛伐克语的原生优先 LLM 基准,包含 30 个数据集和 33 个评分任务变体,覆盖十类技能。评估 55 个开源与闭源模型,最佳开源模型落后专有 API 12.6 分。研究为其他低资源语言提出四条设计经验,并开源数据与代码。
论文指出角色扮演智能体的强化学习通常在固定场景池上训练,导致分布瓶颈。作者提出 AdvRole,一个对抗式上下文重写框架,将角色扮演强化学习变为闭环课程。Actor 学习角色扮演,Rewriter 将角色档案与对话上下文改写为针对 Actor 的困难场景,以性能差距奖励训练。在三个中英文基准及新发…