★ 3
研究质疑 LLM 在 CLadder 上的因果推理能力
论文重新审视 LLM 在因果推理基准 CLadder 上的高分表现，发现其生成器在数据中嵌入了高度可预测的浅层模式。随机森林等简单模型训练后同样表现良好，且商业 LLM 在删除关键推理文本后性能几乎不变。作者认为高分更可能源于利用浅层模式，而非真正的形式因果推理。
arXiv cs.AI3 天前
#数据泄漏
共 14 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 审计 UB-GOLD 图异常检测基准，发现测试标签泄漏
研究审计 UB-GOLD 与 14 个图级异常检测代码库，发现 UB-GOLD 共享训练循环用测试标签选检查点，14 个代码库中有 8 个存在同类问题。按测试 AUROC 选检查点平均虚增 5.12 个 AUROC 点，作者建议主结果应采用无测试标签的选择方式并公开逐次运行输出。
arXiv cs.LG13 天前
★ 3
arXiv 论文：数据科学智能体存在隐性失效模式
一篇 arXiv 论文指出，现有对数据科学智能体（agentic DS）的评测只看下游预测性能和代码正确性，忽略了方法论与领域知识，从而掩盖了数据泄漏、验证不当等失效。作者在 220 个数据科学任务上做大规模失效模式分析，并构建可复用测试套件与 Kaggle 专家方案对比，发现多数智能体方案至少含…
arXiv cs.AI19 天前
★ 2
RainCheck：孟加拉国降雨预测机器学习评估存在数据泄漏
研究基于孟加拉国气象局 35 个站点 61.8 万站点日数据，比较随机、时间与时空三种评估方式。发现仅用站点月度气候态即可达 88.4% 高降雨月分类准确率，随机划分下的模型在预测未来年份时性能反而低于气候态。作者发布防泄漏评估协议与代码。
arXiv cs.LG3 天前
★ 2
TasteBench 发布：如何构建真正衡量品味的基准
论文提出 TasteBench，一个覆盖视觉、品牌、书籍与科技品类的成对好坏判断基准，并给出区分工艺判断与应试刷分的控制协议。首轮试点暴露位置偏置（0.956）、文件名词泄漏（0.912）与难度天花板三类效度威胁，并开源评测工具。
arXiv cs.AI19 天前
★ 2
论文提出钙钛矿光伏机器学习评估溯源分组协议
论文指出钙钛矿太阳能电池机器学习模型常用随机划分评估，会因数据大量重复而系统性泄漏信息——近三分之二的器件与其他器件配方完全相同。作者基于钙钛矿数据库的机构溯源建立分组划分层级，基准测试 13 个模型后发现：树集成在随机划分上占优，但在真正未见机构与未来发现上排名崩塌，组合感知的神经网络架构表现更…
arXiv cs.LG21 天前
★ 2
时频图像融合预测rTMS抑郁症疗效
论文提出montage与blending两种融合技术，从EEG时频图像中提取更丰富特征，并用轻量CNN预测重复经颅磁刺激（rTMS）治疗抑郁症的效果。在分段级交叉验证下准确率高达99.90%，但改用严格按受试者划分的交叉验证后性能崩溃，几乎所有配置AUC落在0.31-0.54之间。研究揭示了此类医…
arXiv cs.LG31 天前
★ 2
电信客户流失基准的99%准确率隐忧
一篇 arXiv 论文对 IBM 电信客户流失基准（n=7043）进行可信度审计，指出文献中普遍报告的 95% 以上准确率存在四类问题。其中预划分 SMOTE 使流失类 F1 虚高 13.1 个百分点，成本最优阈值比 F1 最优阈值低 5-10 倍，每千名客户可省约 7.7 万美元。作者提出包含流…
arXiv cs.LG31 天前
★ 2
关系基础模型上下文学习中的支持集目标泄漏
论文研究关系型上下文学习（ICL）中「支持集目标泄漏」问题：当支持样本含目标衍生特征而查询样本没有时，评估结果会失真。作者构造 20 个受控泄漏特征，在 13 个 RelBench 任务与 5 种关系 ICL 配置上评测，发现 0 跳与全泄漏影响最大，且泄漏效应强依赖任务与模型，甚至能反转模型间的…
arXiv cs.AI33 天前
★ 2
关系基础模型上下文学习中的支持集目标泄漏
论文提出「支持集目标泄漏」问题：关系型上下文学习中，标注支持集含查询时不可得的目标衍生特征，导致预测失效。研究构建14种泄漏类型（20列），覆盖不同噪声、覆盖率、模态与关系距离，在RelBench数据库上评估冻结关系编码器。结果显示目标表泄漏导致最明显性能退化，用积分梯度（IG）排序并移除可疑列可…
arXiv cs.AI33 天前
★ 2
知识追踪模型的可解释性验证协议
研究提出一套验证协议，同时检验知识追踪模型的预测竞争力、解释稳定性与重训练忠实性。作者重建了 ASSISTments 2009 数据集，发现原始技能构建版本存在标签泄漏问题，会抬高 AUC 并改变解释结果。在信息匹配条件下，XGBoost 与四种深度基线表现相当，差异主要来自输入信息而非模型族。
arXiv cs.LG38 天前
★ 2
LOSO 评估下高效无泄漏神经架构搜索
留一被试（LOSO）评估常用于基于被试的分类任务，但完全嵌套的神经架构搜索（NAS）计算成本随被试数呈 O(N^2) 增长。作者提出一种基于块、跨被试共享 NAS 运行的无泄漏方法。在 BioVid 热痛数据集上，平均准确率从 82.79% 提升至 83.39%，参数量最多减少 99.2%。
arXiv cs.LG53 天前
★ 1
316L 不锈钢氢脆检测的防泄漏机器学习
研究提出基于留一区域交叉验证的防泄漏协议，对 316L 不锈钢 SEM 显微图像进行氢脆分类。结果显示最简单的 LBP+SVM 纹理方法表现最佳，平衡准确率 0.79，优于所有深度学习与组合特征模型。组级置换检验 p=0.008，表明结果非偶然。
arXiv cs.LG38 天前
★ 1
面向网格作业运行时间预测的防泄漏调度感知机器学习
论文在GWA-T-4 AuverGrid工作负载上重新定义CPU突发时间预测为防泄漏的执行前作业运行时间预测，仅使用提交时属性并采用时间与冷启动评估。经时间验证调优后CatBoost取得最佳部署导向结果，单服务器仿真显示预测驱动的SJF相比FCFS将平均等待时间降低50.92%。研究指出随机划分评…
arXiv cs.LG48 天前
这个主题的相关资产
相关事件支持集目标泄漏问题2 篇