★ 3
数据条件流匹配生成预训练 LLM 权重
论文为权重空间学习构建了系统变化的 GPT-2 模型动物园（51M/124M/355M，每档 100 个），分析数据混合对权重差异的结构性影响。作者在 Gram-PCA 压缩权重空间上训练以数据混合为条件的流匹配模型，可零样本泛化到未见混合并生成性能相近的模型，同时开源全部代码与产物。
arXiv cs.LG6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文为权重空间学习构建了系统变化的 GPT-2 模型动物园（51M/124M/355M，每档 100 个），分析数据混合对权重差异的结构性影响。作者在 Gram-PCA 压缩权重空间上训练以数据混合为条件的流匹配模型，可零样本泛化到未见混合并生成性能相近的模型，同时开源全部代码与产物。