★ 3
研究：大模型做机器翻译质量标注仍难敌人类
论文评估大语言模型在机器翻译质量评估中的表现，覆盖 MQM 与 ESA 两种主流标注方案。结果显示，尽管 LLM 被视为更高效廉价的替代方案，但在与人类标注的一致性上仍面临挑战，跨语言对和细粒度标注场景下尤为明显。
Apple Machine Learning Research21 天前
#质量评估
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
SkillCT：智能体技能质量多维评测基准发布
论文推出 SkillCT，把智能体技能评估从下游任务执行扩展到九个维度的质量刻画，涵盖静态规范、跨模型行为稳定性与人工辅助评估。基于公开技能语料建立参考基准，并提出免执行的质量预测基线，降低 token 消耗与评估时间；SkillCT 指导的优化还能提升下游任务成功率。
arXiv cs.AI3 天前
★ 2
arXiv 提出 LLM 时代知识图谱质量评估框架
论文综述了数据、信息、关联数据与知识图谱的质量评估文献，以及知识图谱与大模型交叉领域的研究。作者将现有框架扩展为包含 24 个质量维度的目录，并提出一个通用、可按领域或任务定制、可落地的知识图谱质量评估框架，用于判断知识图谱能否可信地为 LLM 提供依据。
arXiv NLP7 天前