★ 3
研究:寡头垄断对多模型生态模型崩溃影响有限
研究构建13个1-4B开源模型组成的多模型生态,将头部份额推高至90%并注入强偏置,连续五代递归训练。结果显示份额集中既未加快崩溃速度,也未显著改变崩溃终点,出现不变性。真正决定崩溃速度的是谁在供给训练池以及这些供给者被同化的难易程度,替换K=3生态成员可使五代漂移变化2.8倍。
arXiv cs.AI51 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究构建13个1-4B开源模型组成的多模型生态,将头部份额推高至90%并注入强偏置,连续五代递归训练。结果显示份额集中既未加快崩溃速度,也未显著改变崩溃终点,出现不变性。真正决定崩溃速度的是谁在供给训练池以及这些供给者被同化的难易程度,替换K=3生态成员可使五代漂移变化2.8倍。
一篇博客文章指出,「模型崩溃」现象并非AI领域新出现的问题,也不为AI所独有,在更早的系统与学科中已有类似先例。文章借此反思当前对模型崩溃的过度关注。