★ 2
论文提出Transformer注意力锥规划认证理论，在GPT-2上验证更紧界
研究指出注意力验证器无法保证界紧度，并证明困难源于查询与键的双线性交互，使盒约束下认证为NP难。作者用指数锥矩松弛给出误差随扰动半径二次增长的认证，在GPT-2上比线性界传播更紧。
arXiv cs.LG10 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究指出注意力验证器无法保证界紧度，并证明困难源于查询与键的双线性交互，使盒约束下认证为NP难。作者用指数锥矩松弛给出误差随扰动半径二次增长的认证，在GPT-2上比线性界传播更紧。