★ 3
LEV：循环决策模型实现按需深度推理
论文提出 LEV，一种通过循环重跑网络层而非生成 token 来加深推理的决策模型，单次前向即可给出选项概率，同一权重可在任意深度作答。2.6B 的 LEV 在 JevBench 上从深度一的 63.2% 提升至深度四的 76.2%，按需深度可节省 15% 至 24% 计算量，且 1.4B 与 3…
arXiv cs.AI17 天前
#模型效率
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
动态稀疏MoE的分布一致性推理方法
论文指出，推理时减少激活专家数量会系统性增大 SMoE 输出的 RMS 尺度与方差，造成表示不匹配并拖累下游性能。为此提出逐层分布对齐（LDA），利用逐层校准统计量将降路由表示对齐到默认配置。在多个 SMoE 大模型与基准上，LDA 能在几乎无额外开销的情况下挽回大部分因分布偏移而损失的性能。
arXiv cs.LG53 天前
★ 3
PMPS：潜空间思维链的结构化过程监督
潜在推理用连续空间嵌入替代冗长的显式思维链token以提升效率，但缺乏对潜在嵌入的直接过程监督，易导致表示坍缩与信息分布不均。论文提出原型中介过程监督（PMPS），引入可学习推理原型作为语义锚点，通过原型分配实现不等长表示间的多对多软对齐，并配合渐进序列对齐模块。实验显示输出token长度压缩至显…
arXiv cs.AI53 天前
★ 2
ConsMSA 提出语义分布一致性学习用于多模态情感分析
论文提出 ConsMSA 方法，显式建模模态内与模态间的语义分布一致性，用于多模态情感分析。该方法将一致性分数用于正则化、自适应 token 重加权与冗余 token 剪枝，在多个基准上取得 SOTA，且仅保留 10% token 仍保持相近精度。
arXiv cs.LG7 天前
★ 2
arXiv 研究闭集决策编码器：6800 万参数超越 DeBERTa-v3
论文探讨工具选择等闭集决策任务所需编码器的最小规模，以及应联合读取选项还是逐项打分。在 3200 万参数三随机种子实验中，逐项打分在匹配优化步数下高出联合打分 5.8 个技能点，但需 5–13 倍编码器前向。发布的六个联合编码器中，6800 万与 1.5 亿参数模型在 System1-Arena …
arXiv NLP10 天前
★ 2
SSR：基于选择的结构化推理提升多模态搜索智能体效率
论文提出 Selection-based Structured Reasoning（SSR）框架，将多模态智能体的推理从开放式生成改为从预设可复用自然语言候选中选择，以减少小模型冗长无效推理带来的推理成本，提升动作生成效率。
Apple Machine Learning Research18 天前
★ 1
留一被试评估下的高效神经架构搜索
论文针对自动疼痛评估中留一被试（LOSO）评估嵌入神经架构搜索计算量随被试数平方增长的问题，提出基于分块、控制泄漏的 PainNAS 方法，将搜索次数从 N 降至 B（B 远小于 N）。在 BioVid 热痛数据集上，PainNAS 以显著更少的参数与 FLOPs 取得可比的被试级准确率。
arXiv cs.LG42 天前