★ 4
Sakana AI提出PC-ALM，可训练千层网络
Sakana AI研究者提出增广拉格朗日预测编码（PC-ALM），作为反向传播的层局部替代方案。通过为每层约束附加拉格朗日乘子，PC-ALM在保留预测编码局部更新的同时，在线性网络中可精确恢复反向传播梯度。实验显示其可训练1000层残差MLP，在MNIST上仅落后反向传播约2个百分点，MIT许可的…
MarkTechPost48 天前
#开源代码
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 论文：FARO 函数空间自适应优化器开源
论文提出 FARO 优化器，把参数分块作为决策单元，按各块实际反事实回报分配几何，并用组合理论中的等风险贡献原则重新分配更新预算。在 FineWeb 上训练的 GPT 风格模型中，FARO-Adaptive 达到与最佳手工配方相当的效果，FARO-ERC 在 6 个随机种子上均降低损失。代码已在 …
arXiv cs.LG4 小时前
★ 3
GS-MoE 提出免训练 MoE 压缩，DeepSeek-MoE 减参 60% 保留九成性能
论文提出免训练 MoE 压缩框架 GS-MoE，通过组内共享低秩子空间与基于 Nyström 的神经元压缩两条轴削减专家冗余。在 DeepSeek-MoE-16B-Base 上参数减少 60% 仍保留约 90% 推理性能，优于 D²-MoE 的 73%，并开源代码。
arXiv cs.LG7 天前
★ 3
ProQuant：MoE 模型超低比特量化保专家质量
论文提出 ProQuant，面向混合专家（MoE）大模型的仅权重量化后训练框架，在极低比特预算下保持生成质量。方法包含联合优化专家剪枝与位宽分配的 PoP，以及通过等价变换补偿量化误差、抑制路由漂移的 RoCo 微调。实验显示其在多种生成任务上优于现有方法，代码已开源。
arXiv cs.AI10 天前
★ 3
连续扩散语言模型训练对提示词加噪
arXiv 论文挑战连续扩散语言模型训练中固定干净提示词的标准做法，改为在训练时对条件提示词加噪。该方法在数独、N 皇后等组合推理任务上显著提升泛化能力，数独困难版求解率从 3.73% 升至 24.65%，并提升生成多样性，代码已开源。
arXiv cs.LG25 天前
★ 2
DiffLTM：面向条件生成的连续扩散大表格模型
该论文提出 DiffLTM，一种用于表格数据条件生成的连续扩散模型，针对数值与类别混合、稀有子群生成困难两大挑战。作者首次为类别变量使用交叉熵损失提供理论依据，并提出聚焦稀有子群的评估指标。在劳动力数据上训练的模型可复现计量经济学的经典结论，代码已开源。
arXiv cs.LG10 天前
★ 2
Sanko 求解器在位置超级劫规则下证明 5x5 围棋
论文提出并行深度优先证明数求解器 Sanko，通过证明迁移定理在位置超级劫（PSK）规则下恢复置换表、死活识别与安全剪枝三项技术。6 线程 16 分钟证明 5x5 围棋，此前最优需 5.25 小时；并首次给出 23 个棋盘的 PSK 值，其中 11 个此前在任何规则下均未解出。作者开源求解器与全部…
arXiv cs.AI11 天前
★ 2
FlexUMM 提出统一多模态模型灵活表征学习框架并开源代码
论文指出统一多模态模型中理解与生成能力会产生表征冲突，现有模型结构过于固定。作者提出 FlexUMM，动态决定何时保留共享计算、何时路由专用容量、何时停止处理，可作为模型无关插件接入现有 UMM。该框架同时提升准确率与推理效率，代码已在 GitHub 开源。
arXiv cs.AI13 天前
★ 2
Colla-Q：基于激活熵的MoE量化比特分配框架
论文提出Colla-Q，一种基于激活熵的混合专家（MoE）量化比特分配方法，旨在让各专家在量化后保持性能均衡。由于MoE中单个专家参数量小、对低比特表示敏感，量化易导致个别专家性能骤降并拖累整体。Colla-Q通过激活熵驱动的比特宽度分配，提升整体MoE性能并降低对校准数据集的依赖，代码已开源。
arXiv cs.LG46 天前
★ 2
基于GIS建成环境特征的行人流量机器学习预测框架
交通机构需要全网行人流量估计以优先安排安全投资，但人工计数昂贵且仅覆盖少量路口。作者提出机器学习流水线，利用开放GIS数据中的建成环境、土地利用与街道网络特征，预测波特兰101个城市路口的两小时晚高峰行人流量。最优配置为直方图梯度提升加泊松损失与L1特征选择，交叉验证RMSE较GLM基线降低12%…
arXiv cs.LG49 天前
这个主题的相关资产
相关公司MiniMax1