★ 2
W-ISA：面向预训练语言模型的权重空间干预指令集与事务运行时
论文提出 W-ISA，一套在预训练语言模型上执行权重空间干预程序的指令集与事务运行时，支持参数更新、投影、消融与秩一变换，并在请求结束后恢复参数。在 SmolLM-135M-Instruct 与 Qwen2.5-1.5B-Instruct 上验证恢复与重放，与 PyTorch 钩子实现的最大 pr…
arXiv cs.AI2 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 W-ISA，一套在预训练语言模型上执行权重空间干预程序的指令集与事务运行时，支持参数更新、投影、消融与秩一变换，并在请求结束后恢复参数。在 SmolLM-135M-Instruct 与 Qwen2.5-1.5B-Instruct 上验证恢复与重放，与 PyTorch 钩子实现的最大 pr…