研究:大型推理模型推理阶段的能力与效率缩放规律
论文用层次贝叶斯模型评估 DeepSeek-R1-Distill 系列在四类算术与算法推理任务上的能力与效率。结果显示,固定模型规模下解题正确率随问题规模近似指数衰减,衰减尺度随模型规模亚线性增长,即能力提升递减;输出长度随难度呈幂律增长,但幂律参数不随模型规模系统变化,说明更大模型并未更高效。
共 19 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文用层次贝叶斯模型评估 DeepSeek-R1-Distill 系列在四类算术与算法推理任务上的能力与效率。结果显示,固定模型规模下解题正确率随问题规模近似指数衰减,衰减尺度随模型规模亚线性增长,即能力提升递减;输出长度随难度呈幂律增长,但幂律参数不随模型规模系统变化,说明更大模型并未更高效。
论文提出CUAWright,一个约3000行代码的极简终端框架,以bash命令作为唯一动作接口,用文件系统作为动态创建工具和管理上下文的可演化空间。在OSWorld 2.0上相比GPT-5.5基线部分奖励相对提升33.2%、成本降低37.5%;在Online-Mind2Web和长程Odysseys…
论文提出 Temperon 训练策略:前 43% 轮次用普通 SGD 探索,随后一次性切换,将整个余弦退火阶段交给 SAM 包裹的 Muon 精修器。在 CIFAR、SVHN、Tiny ImageNet 上精度追平全时 SAM,并在三个数据集上提前 32%–35% 达到最难目标。该分配规律可迁移至…
研究将语言和视觉Transformer的结构化剪枝建模为损伤感知的多臂老虎机问题,在固定评估预算下选择功能单元。配对损伤减少批次间差异,平滑有界奖励驱动UCB或分数Beta汤普森采样。实验覆盖多种模型,与随机、幅度等基线相比,老虎机方法通常减少性能下降,但效果并非仅由更大预算解释。
Loom是一个生成式共识框架,用于根因分析,将模块化启发式产生的开放形式假设投影到连续嵌入空间,并通过迭代质心重加权解决冲突。在OpenRCA基准上,Loom在准确性和效率上达到帕累托前沿,每次事件仅需一次LLM调用,速度提升约26倍。
提出Codebook Agent方法,用向量量化自编码器压缩成功拓扑为码本,通过奖励加权MLP和代理重排序实现高效拓扑生成。在六个基准上准确率最高,且延迟和token消耗更低。
门控记忆路由通过学习记忆写入门和检索门,仅提交非冗余推理步骤,并为每个智能体提供紧凑相关子集。该方法在五个基准上取得最佳平均准确率,同时降低推理成本。自适应停止控制器在足够证据时停止执行。
提出HyQuant,一种用于LLM注意力的高效混合精度量化框架,保留关键垂直线和局部窗口高精度。在多种任务和模型上保持几乎无损精度,提升效率。
Model ML利用GPT-5.6 Sol处理金融工作,从研究和分析到生成可编辑、可追溯的PowerPoint和Excel文件。该应用提升了金融工作的效率与透明度。
Range是一个可在3秒内打开1TB规模AI模型而无需下载的工具,相关链接发布在Hacker News上。该方案有望降低大模型本地加载与使用的门槛。
RAPID是一种新的关系蒸馏方法,将可靠性门控的关系目标与自适应成对提议分离,通过校准的教师熵和分离的学生-教师残差确定评估哪些关系。在AG News和SST-2上的实验表明,可靠性门控的关系蒸馏在两个数据集上均达到最高平均学生准确率,RAPID排名第二,优于交叉熵基线。研究支持目标可靠性和评估优…
Jabil作为全球制造公司,面临系统分散和数据孤岛问题。文章探讨如何通过简化AI集成来提升运营效率,但具体细节未披露。
Hacker News上关于小型模型的热门讨论,热度532分,238条评论。社区热议小型模型在效率、成本和部署方面的优势,预示着AI模型发展的新趋势。
一篇博客文章探讨「AI 生产力悖论」,即 AI 工具虽被广泛采用,却未必带来相应的生产力提升。该帖在 Hacker News 上发布,目前热度极低、尚无评论。
研究提出一种神经网络模型用于识别文本内容文件类型,尤其针对源代码,在开源文件实验中平均准确率更高,速度约为Magika的四倍且体积小28%。该工具面向网络安全场景,不依赖易伪造的魔数与扩展名。
视频讨论 AI 如何改变最小可行产品(MVP)的开发方式,在加速迭代的同时也带来对判断力的挑战。核心观点是速度提升不等于决策质量提升,团队需在效率与判断之间取得平衡。