★ 2
深度截断评估有缺陷：递归语言模型的深度控制协议
研究指出递归/深度循环语言模型评估中常用的深度截断指标存在未审视缺陷：它同时改变块应用次数、独立计算量与读出头的分布外残差流，却只被解读为第二项。作者提出深度控制协议DCP，通过三个正控制、一个稠密Transformer负控制与受控训练干预来解耦这三个量。其关键控制仅在深度权重共享架构中可严格实现。
arXiv cs.AI45 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究指出递归/深度循环语言模型评估中常用的深度截断指标存在未审视缺陷：它同时改变块应用次数、独立计算量与读出头的分布外残差流，却只被解读为第二项。作者提出深度控制协议DCP，通过三个正控制、一个稠密Transformer负控制与受控训练干预来解耦这三个量。其关键控制仅在深度权重共享架构中可严格实现。