★ 3
SMat-Attention：结构化长上下文序列建模
论文提出结构化矩阵注意力（SMat-Attention），通过一族行支撑集VC维为d的因果掩码，在softmax注意力与线性注意力之间建立可调结构。d=1退化为标准因果掩码，d增大则支持更丰富的子集路由。作者给出分块前后向算法，硬路由构造在长度T下仅需O(T^{2-3/d}+T)计算，并扩展到Ma…
arXiv cs.AI33 天前
#VC维
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
弃权机制在博弈与学习型对手下的信息设计权衡
论文研究带弃权选项的二分类器应如何选择弃权查询：面对已知分类器的博弈型对手，在决策边界附近弃权最优；但面对未知分类器的学习型对手，同样策略反而通过弃权泄露边界位置，可被二分搜索利用。作者证明固定比率弃权与边界附近弃权两种防御在 Blackwell 意义下不可比较，并给出边界重构所需查询数的理论上下…
arXiv cs.LG34 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1