★ 3
CLIK：一次编码多次作答，将上下文内化为参数
论文提出 CLIK，一种上下文条件化的参数生成器，通过带交叉注意力的 Transformer 编码器一次前向生成 LoRA 参数，把文档知识内化进冻结基座模型，无需测试时梯度更新。生成的适配器可对同一文档的多次查询复用，在文档问答上优于现有超网络方法，但仍落后于直接读取上下文的基座模型。
arXiv cs.AI3 天前
#超网络
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
WebMix：用混合超网络让网页智能体免重训适配新界面
论文提出 WebMix，一种混合超网络，通过组合已训练的低秩适配器让网页智能体适配未见界面：侦察智能体探索目标站点并生成手册，轻量路由器据此预测适配器混合系数，无需在目标上做梯度更新。在 Qwen 与 Llama 模型上，TimeWarp 域迁移平均比最佳基线高约 8 个百分点，并在版本迁移上保持…
arXiv cs.LG14 天前
★ 3
IntBMoE：块级条件化的全参与混合专家
研究提出IntBMoE，通过稠密专家组合与稀疏块执行解耦参与度、执行量与参数物化三个维度，并引入双路径残差门控。该模型已部署于高德生成式推荐系统，服务数亿用户，在60毫秒延迟预算下取得2.4%的相对UVCTR提升。
arXiv cs.LG42 天前
★ 3
CLAW：世界模型的摊销低秩适配
论文研究如何仅用少量交互回合将世界模型适配到未知测试环境，提出 CLAW 方法，用超网络在测试时生成低秩 LoRA 适配器。预训练阶段联合训练超网络与基础世界模型，测试时冻结基础模型，仅需一次前向传播即可生成适配器。在运动与操作环境族中，CLAW 仅用数秒测试数据即优于梯度适配与上下文学习，并在数…
arXiv cs.LG49 天前
★ 2
HyperZip：扩散语言模型加速无损数据压缩
针对自回归解码在LLM无损压缩中计算成本高、吞吐低的问题，论文提出HyperZip框架，利用扩散语言模型与多Token预测加速压缩。研究识别出解码吞吐与压缩率之间的权衡，并用超网络从上下文表示生成数据专属更新，无需昂贵微调即可适配目标数据。实验显示其在压缩率与速度的权衡上优于现有基线。
arXiv cs.AI33 天前
★ 2
Atelier：超网络自监督学习冷冻电镜特征
论文提出 Atelier，用基于 Transformer 的超网络摊销隐式神经表示（INR）拟合，在 5439 个 EMDB 图谱上预训练，可跨多种蛋白结构高保真重建。其 INR 中间激活提供连续局部特征场，作为辅助通道接入 3D U-Net 标注头后，在八项体素级属性预测任务上优于纯体素基线。
arXiv cs.AI35 天前