★ 3
研究：大模型做机器翻译质量标注仍难敌人类
论文评估大语言模型在机器翻译质量评估中的表现，覆盖 MQM 与 ESA 两种主流标注方案。结果显示，尽管 LLM 被视为更高效廉价的替代方案，但在与人类标注的一致性上仍面临挑战，跨语言对和细粒度标注场景下尤为明显。
Apple Machine Learning Research21 天前
#标注
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
稀疏重叠下的 LLM 评判者验证
论文证明标注重叠稀疏性是 LLM-as-a-judge 部署决策错误的首要决定因素：5% 成对重叠下错误决策率达 25%，在十个候选中选错最佳评判者的概率为 65%。作者给出最小重叠公式与零成本分层分配方案，并在 10 个 LLM 评判者、四个评估矩阵上验证。
arXiv cs.AI34 天前
★ 3
研究：从人类反馈中学习异质性偏好
从人类反馈学习已成训练现代 AI 的核心范式，但现有方法假设全群体共享统一效用函数，将标注者分歧视为随机噪声。论文研究主观偏好学习，基于理性选择理论提出以个体及其决策情境为条件的个体化效用函数，并用多模态数据估计。在 2398 名参与者、逾 57.5 万对汽车轮毂美学判断的新数据集上，个体化效用模…
arXiv cs.AI46 天前
★ 2
NEPSEE：尼泊尔语情感分析双标注基准发布
研究者构建尼泊尔语情感分析基准 NEPSEE，由两位标注者盲标 5614 句推文，保留 3189 句极性一致样本。三分类任务上 NepBERTa 宏 F1 达 0.877，三个商用 LLM 零样本为 0.882 至 0.896；五级量表上 Claude Opus 5.5 领先最佳编码器 0.10 …
arXiv NLP18 天前