★ 2
无标签可靠性估计：语言模型集成如陪审团
论文提出将语言模型集成视为陪审团而非选民，通过专家间一致与分歧模式，用期望最大化（EM）从无标签答案配置中估计各专家可靠性。在 1560 题基准上，九个最多 3B 参数的专家模型表现与标签拟合权重相当，且优于最佳单模型与最强无标签替代方案。
arXiv NLP17 天前
#期望最大化
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文将 Transformer 解释为 LBP 与 EM 混合推断
论文把 Transformer 网络解释为结合 max-product 环状置信传播（LBP）与期望最大化（EM）的混合概率推断过程的近似：自注意力实现输入条件下动态结构马尔可夫随机场上的可微 LBP，层间参数转移则对应隐式 M 步。基于此提出「元模型」设计范式，统一自注意力、混合专家与门控单元。
arXiv cs.LG21 天前