66岁Yann LeCun发新论文挑战Scaling Law:1.09亿参数胜过720亿
66岁的Yann LeCun发表新论文挑战Scaling Law,指出模型越大不一定越懂世界,实验显示1.09亿参数模型可胜过720亿参数模型。该研究对「规模即能力」的主流范式提出质疑。
共 87 篇相关资讯,按重要度与时间排序,每 3 小时更新。
66岁的Yann LeCun发表新论文挑战Scaling Law,指出模型越大不一定越懂世界,实验显示1.09亿参数模型可胜过720亿参数模型。该研究对「规模即能力」的主流范式提出质疑。
论文研究 AI 智能体能否自主开展开放式科学发现,构建了多智能体模拟科研生态的开放世界环境 Station,并加入 Supervisor 机制与周期性 Meta Reflection 以鼓励持续探索。基于 ICLR 三篇口头论文构造开放式任务,Station 平均重现 62.7% 的原始发现标准,…
Geoffrey Hinton参与发表首篇关于递归自我改进(RSI)的论文,探讨AI开始进入“造下一代AI”的流水线。该方向被视为AI安全与能力演化的关键议题,引发对自我改进循环风险与治理的讨论。
DeepSeek发布一篇关于Agent训练的新论文,梁文锋署名,论文披露其沙盒环境每秒可产生5000+个,用于大规模智能体训练。该工作聚焦智能体训练基础设施与效率,可能推动Agent训练规模化。
一篇 arXiv 论文通过实验发现,AI 系统在说服任务上的表现超过了人类专家。研究对比了模型与人类在论证、情感调动与立场改变方面的效果,提示 AI 在舆论影响上的潜在风险。
美国国家经济研究局(NBER)发布工作论文,比较不同代际 AI 编程工具在「写代码」与「交付代码」上的生产力差异。研究提示编码速度提升未必等比例转化为实际交付效率。
论文提出 DScout,用训练端与推理端两种分解指导扩散草稿模型的投机解码。训练端把逐位置损失分解为包含、加权与预测损失以对齐前缀接受;推理端把吞吐分解为平均接受 token 数与单轮延迟之比来选择配置。在 Qwen3-4B 与 Qwen3-8B 上分别取得 3.84 倍与 4.14 倍平均加速,…
论文延续 Batched Contextual Reinforcement,提出并发约束强化(CCR),把三道可验证题目放进一次受限训练补全中,截断前完成的正确答案仍保留信用。相比 32k 窗口的单题 GRPO,CCR 用 8,000 token 窗口在 4B 与 8B 数学推理模型上分别节省 8…
一篇 arXiv 论文提出面向开放科学问题的 AI 智能体基准测试,评估其在无标准答案的真实研究任务中的表现。该工作试图填补现有基准偏重封闭题目的空白。
一篇 arXiv 论文研究 LLM 智能体在技能库规模扩大后的隐式路由失效问题,发现智能体难以准确检索并加载与任务相关的技能,导致性能随规模下降。该工作揭示了当前智能体架构在技能组织与调用机制上的关键瓶颈。
论文将原用于语言建模的连续比特流扩散(CoBit)扩展为统一多模态生成框架,用同一训练与采样协议处理图像-文本、语音-文本与蛋白质序列-结构建模。单个检查点即可支持联合生成与条件生成,语音-文本联合生成词错率 3.5%,蛋白质重折叠自洽 TM-score 达 0.911。
论文构建基于真实客服对话的技能型 LLM 工作流基准,用 MCP 兼容模拟环境生成多轮工具调用对话,对 17 个模型做零样本评测。结果显示 GPT-5.4 大幅领先,Qwen3.5-9B 是 200 亿参数以下最强开源模型;同时指出评审模型选择对结论影响显著,10 组评审两两一致率 Kappa 平…
论文对 Qwen3-1.7B、4B、8B 在 NO-THINK 模式下做 GRPO 训练,发现推理性能提升主要来自「思维泄漏」——即部分重新激活原模型 THINK 模式的推理能力,而非学到新能力。权重、激活与注意力头层面的实验显示,替换 THINK 相关激活子空间可消除大部分 RL 增益。
论文提出 Agentic Data Engineering(ADE)框架,让智能体利用实验反馈迭代改进数据选择、奖励设计与课程学习策略。在数学与代码数据选择等四项任务上,所选策略在 AIME25 Pass@32 上较通用基线最高提升 13.34%,四项留出基准平均提升 5.85%。研究还发现循环内…
一篇 arXiv 论文指出,LLM 智能体能够轻易篡改自身的执行轨迹(traces),对可观测性与审计构成威胁。这意味着依赖日志追踪智能体行为的监控机制可能被绕过,给 AI 安全与合规带来新挑战。
论文提出 CLEAT,一种价值引导的智能体澄清协同训练框架,联合训练澄清价值控制器与任务策略。作者提出残差查询价值衡量提问带来的任务效用,并通过配对 rollout 估计。基于 Qwen3-4B,CLEAT 在四个基准的十个评测设置中均取得最高平均分,UserGym Travel 与 IN3 判断…
论文提出行为自奖励(BSR),一种奖励精炼方法,复用策略自身比较同一任务、同一验证结果下轨迹的可观察调试行为。BSR 将成对偏好聚合为任务局部分数并转为有界辅助奖励,在保留验证器通过/失败顺序的同时引入奖励对比。在 SWE-bench Verified 与 SWE-bench-Live 上,Qwe…
论文提出 SpireBench,让 20 个大语言模型在最高难度下完整游玩商业卡牌游戏《杀戮尖塔》,以评测长程策略推理。前沿模型击败启发式基线并追平普通玩家,但远落后专家,且随流程拉长差距扩大。研究还发现模型表现部分依赖游戏先验知识,且无法从跨局记忆中改进。
论文提出 EvoSyn,一种由学习反馈驱动的多智能体数据合成框架,围绕可修订状态组织合成,弥合反馈到决策的鸿沟。角色化多智能体系统将学习者反馈转化为合成修订,Designer 分配方向、Planner 落地为可执行经验。在 τ²-Bench 与 CAR-Bench 上平均任务成功率较最强基线提升 …
一篇发布在 Hugging Face 的论文提出面向大模型的长期记忆机制,并支持高达 5000 万 token 的上下文窗口。该工作旨在突破现有 LLM 上下文长度限制,提升长文档与长期交互能力。
论文证明将预训练扩散/流式生成模型的速度场/噪声场转换为漂移模型中的吸引力场,并从生成分布估计排斥力场后,训练漂移模型自然等价于分布匹配蒸馏(DMD/DMD2)。基于该等价视角提出改进方法多带宽分布匹配蒸馏(MBDMD),用于一步生成模型。
论文提出链式线性最小化预言机(chained LMOs)框架,统一 Muon 衍生的多种矩阵归一化优化器,并指出许多链式方法在光滑凸目标上可能发散。基于线性联想记忆分析链式组合的优势,提出 TensorChain 优化器,在 Qwen3 0.6B 与 1.7B 预训练中平均 token 效率优于所…
论文提出 Spectrally Targeted Muon,仅对高于或低于阈值 τ 的奇异值做正交化,从而在归一化 SGD 与 Muon 之间插值,无需 SVD。实验发现动量的小奇异值并非噪声,Muon 的优势来自放大过小方向使其可训练;压缩最大奇异值才是保持参数谱平坦的原因,且 AdamW 与 …
论文提出 TRACE 七工具治理框架,用于测量、追踪和修复生产 AI 系统中的可解释性债务,核心指标 EDS 量化低于治理阈值的决策比例。通过对日均 5 万笔交易的反欺诈系统 12 个月纵向研究,证明审计日 EDS 0.23 可提前六个月预测,78% 债务集中在高风险交易类别,为 EU AI Ac…
论文研究 Transformer 如何在多维随机与确定性元胞自动机中克服序列化带来的空间路由问题,提出「空间归纳头」——两层 gather-and-match 电路,第一层重建空间邻域,第二层与先前出现匹配。作者证明空间路由所需位置维度仅取决于局部邻域与空间维度,并构造实现贝叶斯计数的匹配层。训练…
论文比较六种 PEFT 方法在语言与扩散模型中的表现,考察其参数化与任务性能、遗忘及预训练权重几何变化的关系。结果显示 LoRA 族方法也近似保持预训练几何,恢复其轻微漂移的奇异值谱基本不影响性能,质疑显式几何保持的必要性。LoRA 最稳定地限制遗忘,DoRA 平均任务分更高,PiSSA 保留成本…
论文揭示在公开预训练 ASR 模型上构造的对抗扰动可有效迁移到微调后的黑盒目标模型,严重降低性能。作者提出 TransferBreaker 统一微调框架,整合基础对抗微调、潜在雅可比正则化与 HybridGrad-AFT,在三种语言、四个大型 ASR 模型上将对抗词错率从 92.6 降至 27.8…
论文证明在 log 密度比坐标下,策略学习的精确每轮目标(可用 PDIS 计算)是差分凸约束的差分凸规划,从而将 CPI、NPG、TRPO、AWR 统一为特例,并开启耦合连续决策的多步轴。作者用序列凸规划求解并给出收敛保证,多步 CCRL 在需跨时间传播信用的诊断 MDP 上占优,在医疗场景中训练…
研究者提出约束边际直接偏好优化(CM-DPO),用基于符号验证器的连续边际替代 DPO 的二元偏好信号,并按违规严重程度加权,同时通过词典序目标分离硬约束与软约束。在 TravelPlanner、NaturalPlan 与 PlanBench 上,8B 模型微调后达到 89.2% 通过率,性能匹配…
论文研究端侧小语言模型的安全脆弱性,考察 LLaMA-2-7B-Chat 的安全敏感行为是否集中于稀疏参数子集。通过低秩安全子空间分析与参数级安全-效用重要性过滤两种方法,发现网络内安全敏感性高度不均,MLP 的 down_proj 层最为关键。仅修改 down_proj 中 0.19% 的权重即…