各方报道 2 篇
arXiv NLP·10-09 12:00★ 3
研究：LLM 做机器翻译质量标注仍不可靠
原文 论文在 70 个语对的长上下文测试集及 WMT23/WMT25 数据上，评估 LLM 在 MQM 与 ESA 两种机器翻译质量评估方案中与人类标注者的一致性。结果显示 LLM 与人类一致性在部分任务上超过人类之间的一致性，但跨方案、语对与领域波动很大，多数场景仍不可靠；人类在细粒度 MQM 与低资源语对上吃力，LLM 则难以识别轻微错误、错误语言变体与错误跨度标注。
Apple Machine Learning Research·10-12 08:00★ 3
研究：大模型做机器翻译质量标注仍难敌人类
原文 论文评估大语言模型在机器翻译质量评估中的表现，覆盖 MQM 与 ESA 两种主流标注方案。结果显示，尽管 LLM 被视为更高效廉价的替代方案，但在与人类标注的一致性上仍面临挑战，跨语言对和细粒度标注场景下尤为明显。