★ 3
研究提出 RATE 协议：机器翻译准确度已超人类但流畅度仍落后
论文指出 MQM、ESA 等现有机器翻译评估标准存在标注者水平不一、分类过繁、严重度粒度粗、偏重准确度等问题。作者构建 WMT24 英俄翻译的专业语言学家高质量评测数据集，并提出 RATE 协议，采用精简错误分类、扩展严重度与多维评分。分析显示当前最优机器翻译系统在准确度上可能已超越人类译文，但流…
arXiv NLP6 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出 MQM、ESA 等现有机器翻译评估标准存在标注者水平不一、分类过繁、严重度粒度粗、偏重准确度等问题。作者构建 WMT24 英俄翻译的专业语言学家高质量评测数据集，并提出 RATE 协议，采用精简错误分类、扩展严重度与多维评分。分析显示当前最优机器翻译系统在准确度上可能已超越人类译文，但流…
论文比较自动评分在人工评估中的三种用途——引导采样、校正估计与自适应获取——的增量价值，在三个偏好数据集与 19 个 AttributedQA 系统上做匹配比较。结果显示按分数分层后固定局部线性校正仅再降 1.00–5.27% MSE，不等分配在某些池中增益更大但可能放大误差。作者建议采用「分数分…