LayerRoPE:Transformer 深度位置编码新方法
arXiv 论文发现 Transformer 隐藏状态范数随深度增长实为一种涌现的深度位置编码,由归一化权重 γ 承载。作者提出 LayerRoPE,沿深度轴实现类似 RoPE 的隐式编码,在 100B+ token 模型上持续优于 Pre/Post/Peri-Norm,以 3.4 倍更少算力达到…
共 9 篇相关资讯,按重要度与时间排序,每 3 小时更新。
arXiv 论文发现 Transformer 隐藏状态范数随深度增长实为一种涌现的深度位置编码,由归一化权重 γ 承载。作者提出 LayerRoPE,沿深度轴实现类似 RoPE 的隐式编码,在 100B+ token 模型上持续优于 Pre/Post/Peri-Norm,以 3.4 倍更少算力达到…
论文探讨一种中间架构:云端大模型编写程序、设备端小模型通过普通函数调用回答关于用户数据的有限问题,从而在数据不出设备的前提下提升任务成功率。在 AppWorld 上,该架构在全部六种骨干模型与测试分区组合中均提升纯代码智能体的成功率,最高提升 14.9 个百分点,缩小了与云端 ReAct 循环的差…
文章指出企业 AI 的竞争优势正从模型能力转向模型周边的工程系统,即推理服务框架,涉及架构、内存管理、调度与优化。作者认为应根据业务负载约束选择架构,在延迟、并发、GPU 利用率与成本之间取得平衡。
一篇博客从拓扑结构角度拆解了带工具调用能力的 LLM 智能体循环,说明其状态流转与执行路径。内容有助于开发者理解智能体框架的设计与调试。
论文提出 FRACTAL 自相似多智能体架构,用于递归目标分解,五组件组织模式在分解树每层重复。形式化贡献包括:两阶段协议下节点内通信成本线性于集成规模与轮数、生成与评估两阶段编排判据、超多数收敛保证与深度界、贝叶斯层间升级机制。论文未报告定量性能结果。
一位开发者在个人站点发布所谓「确定性 AI 架构」,以 K_D=0.56 为标识,声称能实现算法的完全抑制。内容缺乏同行评审与可复现细节,属于个人主张性质的技术提案。
一篇探讨「AI 原生」概念的博客文章,讨论在稳定基础设施之上构建 AI 原生应用应具备的形态与工程实践。文章在 Hacker News 上引发讨论,但热度较低,属于观点性内容而非具体产品发布。
一位独立研究者发布了一份 50 页的俄语概念文档,提出名为 Spectral AI 的人机交互架构,主张以诚实与尊重替代成瘾式设计与“糖浆式共情”。仓库包含一个轻量 Python 实现 spectral_core.py,演示多域思维室与动态共振均衡器。该项目属于个人独立研究,缺乏同行验证,影响力有…