★ 3
研究提出能力本位评测 CBE，揭示 GPT 与 Qwen 逻辑推理不一致
论文批评当前基准只报告单一准确率，无法反映推理能力的泛化性，提出能力本位评测（CBE）：用参数化生成器在固定能力要求下扩展复杂度，并以等价表述检验正确性。在六款 GPT 与 Qwen 模型上，即使强模型也无法通过跨表述的能力一致性检验；思维链与 GRPO 能提升表现但未解决全部失败，监督式 LoR…
arXiv NLP14 天前
#泛化能力
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
字节Seed发布HarnessDev基准：LLM自建智能体框架仅半数改进可泛化
字节Seed联合SUTD、佐治亚理工等推出HarnessDev基准，评估模型自建的智能体运行框架而非最终答案。6个模型在5个基准、2207个任务上从零分种子出发构建并迭代框架，自建框架在写作和ML实验上追平人类参考，但在代码与搜索上落后，且64项演化改动中仅34项在留出任务上方向一致。
MarkTechPost51 天前
★ 2
便利店机器人售货实验失败：实验室练上万次仍摔瓶子
报道讲述便利店场景下机器人售货的落地困境：即便在实验室反复训练上万次，机器人在真实货架前仍会摔落商品。反映出具身智能在真实零售环境中的泛化与稳定性难题。
量子位1 天前
★ 2
arXiv 提出循环 GNN 与 Loop-Freeze-Steer，提升图规模泛化
论文研究从小图训练泛化到大图的问题，提出参数共享的循环 GNN 架构并归纳六种方案，区分深度扩展、微调与冻结引导的作用。作者提出 Loop-Freeze-Steer（LFS），冻结预训练处理器并学习小型控制器引导重复应用，以远少于全量微调的可训练参数在合成任务与芯片布局任务上取得精度与参数效率的平…
arXiv cs.LG13 天前
★ 2
INCONVENIENT：评估 LLM 便利样本泛化能力的新基准
论文提出 INCONVENIENT 基准，直接扰动训练分布中的特征-目标关系，同时保留原始总体分布作为部署环境，以研究模型对便利采样偏差的鲁棒性。该基准包含 200 个表格分类与回归数据集，生成约 15500 个偏移训练分布，导致显著性能退化。
arXiv cs.LG17 天前
★ 2
小波扩散降水降尺度的跨区域泛化评估
研究评估小波扩散模型（WDM）在未见地理区域和事件类型下的降水降尺度泛化能力，覆盖美国六个 3×3 度区域的对流、冬季、热带与大气河降水。结果显示仅在俄克拉荷马训练的 WDM 在域外仍具竞争力，且样本性能差异与降水场空间组织（Moran's I）高度相关，相关系数达 0.901。
arXiv cs.LG38 天前
★ 2
AI泛化能力之谜
Astral Codex Ten 发表文章探讨 AI 泛化能力的未解之谜，讨论模型为何能在训练分布之外表现良好，以及这种泛化背后的机制仍缺乏理论解释。该话题触及当前大模型可靠性、对齐与安全评估的核心争议。
Hacker News – AI39 天前
★ 2
SAM 提升细菌拉曼光谱分类精度助力便携诊断
针对抗菌药物耐药性诊断，拉曼光谱有望实现数小时内的便携检测，但现有算法在有限数据上泛化差且依赖复杂预处理。论文采用锐度感知最小化（SAM）提升临床细菌分离株分类的泛化能力，单次划分精度最高提升 10.5%，所有划分平均提升 2.7%。结果表明 SAM 可推动 AI 拉曼光谱工具的临床应用。
arXiv cs.LG45 天前