★ 3
SelfMorph:让冻结大模型按输入自变形计算结构
论文提出 SelfMorph,将计算拓扑变为依赖输入的推理时决策,统一原始前向、层段串行复用与隐状态局部分支合并三种形态,并用轻量选择器在生成前挑选形态。在 4B–27B 三个模型上,分布内基准平均相对提升 8.06%,未见基准提升 4.45%,27 项设置中 24 项最优。
arXiv cs.AI3 天前
共 4 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 SelfMorph,将计算拓扑变为依赖输入的推理时决策,统一原始前向、层段串行复用与隐状态局部分支合并三种形态,并用轻量选择器在生成前挑选形态。在 4B–27B 三个模型上,分布内基准平均相对提升 8.06%,未见基准提升 4.45%,27 项设置中 24 项最优。
论文提出自键控参数内记忆(SKIM),让模型为每轮对话自生成多个问题并写入参数作为检索键,后续用户提问可直接从参数中召回答案。在五个语言模型上测试,多数存储对话轮次可被正确召回,无需任何外部存储。该工作探索了把对话记忆内化到模型权重的可行性。
论文提出 Personality Latents(PL),从每个人自己的写作中学习一个潜在向量,无需人格标签或书面档案,作为软前缀注入冻结语言模型。在 MBTI 各轴上 AUC 超过 persona embedding 与提示基线,且用 Qwen2.5-3B-Instruct 学到的潜在向量可通过…
研究者提出 INTACT,用小型外部编码器在冻结的骨干模型上诱导潜在推理,将隐藏状态映射为连续软 token 前缀。在四个 1B-8B 冻结骨干上,GSM8K 与域外准确率均提升,Llama-3.2-3B 上 GSM8K 从 75.8% 升至 79.3%,端到端延迟降低 19%。