★ 3
低秩激活引导实现参数高效决策算子
论文提出一种通过行为克隆训练的System-1决策算子，将向冻结语言模型注入技能的成本降低约两个数量级。默认算子仅用33万参数即可匹配133万参数的强化学习算子，并将3685 token的推理压缩为6 token决策且不损失精度。研究揭示可训练性差距源于初始化与架构，技能可作为近似线性算子组合、插…
arXiv cs.LG26 天前
#低秩
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出一种通过行为克隆训练的System-1决策算子，将向冻结语言模型注入技能的成本降低约两个数量级。默认算子仅用33万参数即可匹配133万参数的强化学习算子，并将3685 token的推理压缩为6 token决策且不损失精度。研究揭示可训练性差距源于初始化与架构，技能可作为近似线性算子组合、插…