arXiv cs.LG·20 天前★ 2

全晶体管物理学习Transformer实现上下文学习

原文标题：An all-transistor physical-learning transformer can be trained to perform in-context learning

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文构建基于亚阈值 MOSFET 指数电流律的注意力机制电路，通过双电路结构恢复平衡传播所需的双向信息流。仿真显示该全晶体管物理学习 Transformer 可被训练完成简单上下文学习任务，需使用交叉熵损失而非均方误差。研究为物理神经网络实现注意力机制提供新路径。

论文速读 · 四段结构去论文速读 →

问题: 平衡传播/耦合学习类物理系统难以实现点积注意力所需的双向信息流与乘法非线性。
方法: 用双电路结构增加额外电路元件恢复反向信息流，基于亚阈值 MOSFET 指数电流律构建注意力机制，并用新型浮动电路元件生成交叉熵损失对应的 nudges。
结果: 仿真中该电路可训练完成简单上下文学习任务，需用交叉熵损失而非均方误差；未给出量化指标。
影响: 为物理神经网络实现注意力机制提供可行路径，指向无需反向传播的低功耗硬件推理与训练。

AI 处理过程展开/收起

原始标题：An all-transistor physical-learning transformer can be trained to perform in-context learning

AI 中文标题：全晶体管物理学习Transformer实现上下文学习

来源：arXiv cs.LG · 发布于 20 天前

分类：学术研究 · AI 重要度：★ 2（2）

标签：物理神经网络 / Transformer / 上下文学习 / 类脑计算

关键词：物理学习 / Transformer 硬件 / 上下文学习 / AI 论文

AI 处理：2026/10/12 12:02:09 · 模型 deepseek-chat · 规则版本 2026-10-10.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐