★ 3
研究：大模型做机器翻译质量标注仍难敌人类
论文评估大语言模型在机器翻译质量评估中的表现，覆盖 MQM 与 ESA 两种主流标注方案。结果显示，尽管 LLM 被视为更高效廉价的替代方案，但在与人类标注的一致性上仍面临挑战，跨语言对和细粒度标注场景下尤为明显。
Apple Machine Learning Research21 天前
#MQM
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：LLM 做机器翻译质量标注仍不可靠
论文在 70 个语对的长上下文测试集及 WMT23/WMT25 数据上，评估 LLM 在 MQM 与 ESA 两种机器翻译质量评估方案中与人类标注者的一致性。结果显示 LLM 与人类一致性在部分任务上超过人类之间的一致性，但跨方案、语对与领域波动很大，多数场景仍不可靠；人类在细粒度 MQM 与低资…
arXiv NLP24 天前
这个主题的相关资产
相关事件LLM 机器翻译标注评估2 篇