★ 4
LayerRoPE：Transformer 深度位置编码新方法
arXiv 论文发现 Transformer 隐藏状态范数随深度增长实为一种涌现的深度位置编码，由归一化权重 γ 承载。作者提出 LayerRoPE，沿深度轴实现类似 RoPE 的隐式编码，在 100B+ token 模型上持续优于 Pre/Post/Peri-Norm，以 3.4 倍更少算力达到…
arXiv cs.LG25 天前
#位置编码
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
T-RoPE：面向序列推荐的时间感知旋转位置编码
论文指出标准 RoPE 在推荐场景仅编码交互顺序，无法反映时间间隔与周期，提出 T-RoPE 以时间戳角度、可学习时间系数、多尺度频率库与非平稳键旋转替代纯索引旋转。在五个公开基准上全面领先，稀疏 PixelRec 的 HR@10 提升 78–130%；在超 60 亿交互的工业数据集上各项指标提升…
arXiv cs.AI35 天前
★ 3
FoundAna：GNN 辅助的图异常检测基础模型
论文提出 FoundAna，首个面向可泛化跨图异常检测的基础模型框架，结合 GNN 与 Transformer。模型集成异常检测专用 GNN 组件与标准 Transformer 编码器，并加入四种互补位置编码以捕获局部与全局结构信息，通过属性与邻接解码器的重构误差作为异常分数。在金融、社交与引文网…
arXiv cs.LG46 天前
★ 2
Transformer 波数编码提升拉曼光谱分析鲁棒性
研究将光谱每个点表示为强度与波数对，用波数本身计算 Transformer 位置编码，替代传统固定网格索引表示。在三种细菌拉曼光谱及混合物上，该方法对噪声、稀疏采样和部分光谱覆盖更鲁棒，并在未见采样网格上保持性能。
arXiv cs.LG10 天前
★ 2
PEBDSAM：基于位置编码的可变形图神经网络
针对传统GNN的过平滑、过压缩、感受野受限及异质图噪声等问题，作者提出基于位置编码的可变形空间聚合模块PEBDSAM，利用位置空间中的可变形机制识别相关节点以补充一阶邻居信息。诊断实验发现偏移失效但性能仍提升，据此简化出PEBSAM及面向大数据的PEBSAM-Speed，可即插即用于GCN、GAT…
arXiv cs.AI48 天前