arXiv cs.LG·27 天前★ 2

考虑电路：突破单一Softmax的深度分离与普适性

原文标题：Consideration Circuits: Depth Separation and Universality Beyond a Single Softmax

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

研究者提出「考虑电路」（Consideration Circuits, CC），一种基于多阶段选择的有向无环图模型，由多个多项Logit（MNL）单元构成，替代传统单一softmax打分方式。论文证明在固定非共线特征的三项折中任务上，深度从2增至3可将达到误差ε所需的最优最大偏好向量范数从Θ(log(1/ε)/ε)降至Θ(log(1/ε))，并刻画了逼近任意确定性选择表的两个充要几何条件。实验显示，参数不足600的树状电路在多个基准上取得最低测试负对数似然，作为输出头还能提升编码器表现。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 传统基于单一softmax的选择模型表达能力受限，难以拟合复杂选择行为。
方法: 提出由多个MNL单元组成的有向无环图「考虑电路」，用多阶段选择替代单次打分。
结果: 三项折中任务上深度2到3将误差ε所需最大偏好向量范数从Θ(log(1/ε)/ε)降到Θ(log(1/ε))；不足600参数的树状电路取得最低测试NLL。
影响: 推荐与选择建模可用更小模型获得更强表达力，作为输出头还能提升编码器表现。