★ 3
SelfMorph:让冻结大模型按输入自变形计算结构
论文提出 SelfMorph,将计算拓扑变为依赖输入的推理时决策,统一原始前向、层段串行复用与隐状态局部分支合并三种形态,并用轻量选择器在生成前挑选形态。在 4B–27B 三个模型上,分布内基准平均相对提升 8.06%,未见基准提升 4.45%,27 项设置中 24 项最优。
arXiv cs.AI3 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 SelfMorph,将计算拓扑变为依赖输入的推理时决策,统一原始前向、层段串行复用与隐状态局部分支合并三种形态,并用轻量选择器在生成前挑选形态。在 4B–27B 三个模型上,分布内基准平均相对提升 8.06%,未见基准提升 4.45%,27 项设置中 24 项最优。