★ 2
RainCheck：孟加拉国降雨预测机器学习评估存在数据泄漏
研究基于孟加拉国气象局 35 个站点 61.8 万站点日数据，比较随机、时间与时空三种评估方式。发现仅用站点月度气候态即可达 88.4% 高降雨月分类准确率，随机划分下的模型在预测未来年份时性能反而低于气候态。作者发布防泄漏评估协议与代码。
arXiv cs.LG3 天前
#评估协议
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文提出 CODA：自改进智能体技能漂移审计协议
该论文指出，技能-策略协同进化（skill-policy co-evolution）方法在部署后存在隐患：技能库的改写、增删频率往往高于策略模型重训频率，导致策略运行在漂移后的技能库上。作者提出面向部署的评估协议 CODA，模拟技能漂移并引入一致性率与抗损坏率两项新指标。在四种协同进化方法与五个基…
arXiv cs.AI17 天前
★ 2
SIDERIUS：物理时序的智能体 ML 开发评估协议
论文提出 SIDERIUS，一个面向物理时序科学机器学习的 LLM 智能体系统，强调科学有效性而非单一分数，结合可组合能力编排、多层科学评估协议与资源感知探索。在 TIDMAD 基准上，使用 GPT 编排器的 SIDERIUS 有效模型提出率达 63.8%，远高于通用 Codex 编码智能体的 1…
arXiv cs.LG19 天前
★ 2
扩散模型数据点遗忘的顺序重现问题
论文发现扩散模型数据点遗忘存在「顺序重现」失效模式：某实例在删除后一度被判定遗忘，却在后续删除操作中重新回到被记忆状态，且未重用被删数据或对抗微调。作者提出目标级评估协议追踪遗忘状态，并发现会重现的目标在删除后具有更尖锐的局部去噪损失几何。
arXiv cs.LG40 天前