★ 4
论文揭示LLM安全路径：注意力识别危害，MLP写入拒绝
arXiv论文将LLM越狱与过度拒绝问题重构为注意力到MLP的安全路径问题，在Qwen、Llama、Gemma等18对Base-Instruct模型上发现危害性更易从注意力更新中解码，而MLP更新主导拒绝写入。作者据此提出Sentinel，结合感知分P与决策分D，在八模型上降低聚合错误率。
arXiv cs.AI21 天前
#Transformer
共 115 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
LayerRoPE：Transformer 深度位置编码新方法
arXiv 论文发现 Transformer 隐藏状态范数随深度增长实为一种涌现的深度位置编码，由归一化权重 γ 承载。作者提出 LayerRoPE，沿深度轴实现类似 RoPE 的隐式编码，在 100B+ token 模型上持续优于 Pre/Post/Peri-Norm，以 3.4 倍更少算力达到…
arXiv cs.LG25 天前
★ 4
Universal Attention：KV 缓存 25 倍压缩
arXiv 论文提出 Universal Attention 架构，用复合衰减机制统一并扩展基于衰减的 KV 缓存剪枝方法，保留 RoPE 与 Softmax 注意力。该机制充当自适应剪枝准则，在自然语言与合成任务上实现 10 倍压缩并提升下游性能，长上下文 16k 长度下达到 25 倍压缩。
arXiv cs.LG25 天前
★ 3
论文证明最优训练 Transformer 可近无损预测非马尔可夫数据
论文用随机最优控制理论分析 Transformer 对非马尔可夫信源的下一 token 预测，给出熵差与指数衰减误差界，并构造深度 M+1 的 Transformer 实现截断滤波，证明随上下文与数据增加性能误差可任意小。
arXiv cs.LG2 小时前
★ 3
研究实测七种 Transformer 理论，发现无一能完整解释其能力
论文梳理 Star-free、AC0、TC0、C-RASP、MPC、BAPO、Sensitivity 七种 Transformer 能力理论，统一到同一任务预测矩阵并做受控实验验证。结果显示没有单一理论能解释全部成功与失败，理论需纳入软注意力、内容相关检索与可学习性等因素。
arXiv cs.LG7 天前
★ 3
TEM-XL：Transformer 能量模型实现 ImageNet 256 生成 FID 3.82
论文提出 Transformer 能量模型 TEM，在潜空间中构建可扩展的 transformer 能量函数，并多层能量求和以融合局部纹理与全局语义约束。配合正表示对齐 PRA 与改进采样策略，TEM-XL 在无分类器引导下于类条件 ImageNet 256×256 取得 FID-50K 3.82…
arXiv cs.LG7 天前
★ 3
伯克利提出 Nestor 嵌套稀疏架构，预训练与持续学习优于 MoE
arXiv 论文提出 Nestor，用类似 MoE 的条件计算机制泛化注意力算子，使稀疏性可与 MoE 稀疏性层级嵌套。在同等算力与稀疏度下，Nestor 的语言模型预训练效果优于传统 MoE，且在长上下文适配与新领域持续预训练中遗忘更少。代码与检查点已在 GitHub 开源。
arXiv cs.LG7 天前
★ 3
研究证明 Transformer 可精确编译为通用深度神经网络
论文证明含注意力、LayerNorm 与 GELU MLP 的每个 Transformer 块都能精确编译为通用深度神经网络，并分析去掉「激活-激活乘积」操作的代价。研究还给出 top-k 注意力的无偏尾部质量估计与基于聚类的注意力加速方法，在 DeiT-Tiny、Pythia-70M 等模型上编…
arXiv cs.LG11 天前
★ 3
MemT 1.0 发布：从模型层为 Transformer 原生加入记忆
MemT 1.0 从模型层补上「记忆」能力，将记忆机制原生集成进 Transformer 架构。该工作被视为 RSI 方向的关键拼图之一，指向模型持续学习与长期记忆能力。
量子位12 天前
★ 3
研究称无编码器多模态大模型自学隐式编码器
研究实证分析 Gemma-4 12B 与 Inkling-Small 两个无编码器多模态大模型，它们直接将音频采样、像素或频谱特征输入 Transformer。发现模型早期层实际充当「隐式编码器」，对跨模态上下文基本不变，且独立编码各模态与从第一层联合编码精度相当。
arXiv NLP13 天前
★ 3
研究：多数 Transcoder 特征实为伪装的 MLP 神经元
论文对比稀疏化 MLP 与 transcoder，定义与单个 MLP 神经元权重高度对齐的「神经元特征」，发现在 13 个开源 transcoder 的深层中这类特征占活跃特征相当比例。只有神经元特征与底层 MLP 存在稳定对应，其余特征在多次训练间波动更大。结论是 MLP 神经元作为可解释性基础…
arXiv cs.AI13 天前
★ 3
FPA：以路径极值替代求和的遗忘门注意力机制
论文提出 First Passage Attention（FPA），将遗忘门注意力的路径求和改为路径极值，按学习标量场在区间内的最深下探成比例降低键的 logit，从而选择性擦除中间上下文而保留更早的结构相关 token。FPA 将 Forgetting Transformer 作为特例，理论上常…
arXiv NLP14 天前
★ 3
arXiv 研究模加法 grokking：损失平坦但特征持续演化
论文在模加法任务上证明网络可在训练交叉熵近乎平坦时继续学习：隐藏特征变化、留出精度从零升至 90% 以上。作者用有限窗口定理证明单隐层网络中该共存现象，并在更深网络与单块 Transformer 上复现，指出训练损失平台期不等于学习停滞。
arXiv cs.LG14 天前
★ 3
arXiv 论文：泰勒展开实现线性时间 Transformer
论文将注意力指数核展开为 n 项截断泰勒级数，并分解为张量幂内积，把因果历史压缩为恰好 n 个循环状态，与上下文长度无关。在 N=8192 时速度提升 20.8 倍，N=65536 时解码延迟提升 76 倍。
arXiv cs.LG17 天前
★ 3
谷歌研究负责人谈科学 AI 被低估
谷歌研究负责人 James Manyika 在 Research@ 大会后接受采访，介绍拥有 26 年历史的 Google Research 在基础与应用研究上的布局，包括基因组学、连接组学、量子计算等长期项目。他认为 AI 已带来超出多数人认知的科学进展，但科学 AI 的价值仍被低估。Trans…
快公司17 天前
★ 3
研究：Priming 技术免重训改造 AI 模型架构
一项名为 Priming 的新方法可复用预训练 Transformer 权重，在不从头重训的前提下构建更高效的模型架构。其成本不到原始训练的 1%，吞吐量最高可达两倍，为模型架构改造提供了低成本路径。
Amazon Science Blog20 天前
★ 3
字节语言模型论文：扩展、涌现抽象与信息分配
一篇论文挑战语言模型必须依赖显式分词器的假设，证明标准扁平 Transformer 可直接处理原始字节序列，并在参数规模扩大时超越传统子词模型。研究通过 token-superposition 训练与哈希嵌入实现更低最优损失，并发现字节模型会自发形成局部抽象结构，为投机解码带来约 3.4 倍的接受…
Lobsters – Machine Learning22 天前
★ 3
空间归纳头：多维元胞自动机的上下文学习
论文研究 Transformer 如何在多维随机与确定性元胞自动机中克服序列化带来的空间路由问题，提出「空间归纳头」——两层 gather-and-match 电路，第一层重建空间邻域，第二层与先前出现匹配。作者证明空间路由所需位置维度仅取决于局部邻域与空间维度，并构造实现贝叶斯计数的匹配层。训练…
arXiv cs.LG25 天前
★ 3
算法草稿本与课程分级提升微型Transformer算术推理
论文研究约1060万参数Tiny Transformer在多步算术任务中的机制，发现数据加载填充会造成83%梯度饥饿、语言预训练是必要前提，现代架构组件与稀疏MoE可提升加法推理。引入逐位长除法草稿本与四阶段课程后，单位数除法准确率从4.0%提升至86.7%。
arXiv cs.LG25 天前
★ 3
用 Transformer 合成物理公式
论文针对符号回归中 Transformer 易过拟合、外推能力差的问题，通过塑造训练用公式集合提升外推表现，并用噪声目标值微调增强鲁棒性。在 SRBench 与 LLM-SRBench 上约十秒合成公式，外推优于所有同预算方法。搜索类方法需多出一到三个数量级时间才能超越其精度。
arXiv cs.LG27 天前
★ 3
注意力流形：用B样条曲面调控语言模型
论文提出「注意力流形」，用可学习的二维B样条曲面根据查询-键交互调制每个value维度，初始化零值以保留预训练行为。在LLaMA 3.2-1B/3B上以0.3%参数开销降低WikiText-2困惑度2-2.5点，并改变69%-83%提示的贪心输出。曲面可机械编辑，系数取-1可形成「注意力墙」阻断特…
arXiv cs.LG31 天前
★ 3
自适应锚点的函数空间 Transformer
论文提出函数空间 Transformer（FST），通过空间自适应连续隐表示从函数中学习，锚点位置由输入观测预测并递归细化。该表示可针对每个输入调整空间组织，而非继承观测网格，同时支持空间分辨与有限维输出。在 PDEBench Burgers 与 Darcy 流预测上大幅优于 Perceiver …
arXiv cs.LG32 天前
★ 3
PolicyAttention：Softmax 注意力实现策略镜像下降
论文探讨因果 softmax 注意力能否作为重复控制器实现策略镜像下降（PMD），而非仅一步代数恒等式。作者构建了固定的因果 softmax 演员-环境-单步评论家协议，并证明单独训练的 pre-LN Transformer 可在经验上恢复目标计算。在预注册的重复控制测试中，学习到的演员配合精确单…
arXiv cs.LG35 天前
★ 3
Q-Target 预训练 Transformer 实现可证明的上下文强化学习
论文提出 Q-Target Pretrained Transformers（QTPT），保留上下文条件 Transformer 架构但以贝尔曼式 Q 目标替代行为克隆，使模型利用上下文中的奖励与转移估计动作价值而非模仿行为策略。理论分析表明其在随机线性老虎机与有限时域 MDP 中对数据质量的鲁棒性…
arXiv cs.LG35 天前
★ 3
T-RoPE：面向序列推荐的时间感知旋转位置编码
论文指出标准 RoPE 在推荐场景仅编码交互顺序，无法反映时间间隔与周期，提出 T-RoPE 以时间戳角度、可学习时间系数、多尺度频率库与非平稳键旋转替代纯索引旋转。在五个公开基准上全面领先，稀疏 PixelRec 的 HR@10 提升 78–130%；在超 60 亿交互的工业数据集上各项指标提升…
arXiv cs.AI35 天前
★ 3
跨层共享专家提升 Transformer 参数利用率
研究提出 CS-MoE，一种跨层专家共享的 Transformer 架构，将层独立专家与全局共享专家池结合，实现 token 级参数激活与 FLOPs 的弹性控制。实验表明 CS-MoE 在仅激活 55% 参数时困惑度低于同规模稠密 Transformer，并在固定 FLOPs 预算下逼近 MoE…
arXiv cs.LG41 天前
★ 3
MOSAIC-SR：Transformer 引导的符号回归
论文提出 MOSAIC-SR，用预训练 Transformer 生成多个初始表达式草图，为搜索提供有希望的起点，避免在巨大表达式空间中随机初始化。每个搜索结合尺度感知常数优化与局部符号修复，在 SRSD-Feynman 等数据集上取得最高符号解率，且在存在无关变量时仍保持优势。
arXiv cs.LG42 天前
★ 3
研究探讨量子模型是否遵循类似LLM的缩放定律
论文研究在里德堡原子阵列量子比特测量数据上训练的 RydbergGPT 的神经缩放律。发现在临界点附近，损失随训练数据量呈带损失下限修正的幂律；远离临界点时幂律描述显著变差。通过熵归一化互信息两点函数比较，发现近临界统计与自然语言最接近，支持「多尺度依赖促成稳定神经缩放」的假设。
arXiv cs.LG42 天前
★ 3
Transformer 中的世界建模机制研究
论文以在曼哈顿随机游走上训练的 TaxiGPT 为例，通过机制分析与因果干预证明模型实际学到了路口、街道表征、位置追踪与目标罗盘导航能力。其失败源于叠加路口特征间的干扰，而 affordance packing 可缓解该问题。研究提出机制指标比较模型，并主张从「是否有世界模型」转向机制化研究世界建…
arXiv cs.AI42 天前
★ 3
Stiefel 注意力：投影矩阵几何主导优化器选择
论文将注意力中的查询与键投影约束到 Stiefel 流形，并用黎曼 Adam 优化，证明该更新在嵌入度量下为最速下降、与梯度尺度无关且良态。关键机制是权重衰减在 Stiefel 流形上黎曼梯度恒为零，使学到的注意力几何在模型其余部分的坍缩周期中得以保留。在模运算 grokking 任务上单次运行 …
arXiv cs.LG45 天前