★ 2
多语言模型首词语言广播电路解析
研究对 GPT-2、BLOOM-560M、Pythia-1B/2.8B 与 Qwen2.5-1.5B 六个模型做端到端结构电路分析，定位决定首词语言身份的有向无环图。结果显示广播枢纽多位于中深层，Qwen2.5 基座与指令版电路相似度达 84.7%，说明首词路由主要在预训练阶段形成。研究还发现 E…
arXiv cs.AI35 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究对 GPT-2、BLOOM-560M、Pythia-1B/2.8B 与 Qwen2.5-1.5B 六个模型做端到端结构电路分析，定位决定首词语言身份的有向无环图。结果显示广播枢纽多位于中深层，Qwen2.5 基座与指令版电路相似度达 84.7%，说明首词路由主要在预训练阶段形成。研究还发现 E…