#物理神经网络

全晶体管物理学习Transformer实现上下文学习

论文构建基于亚阈值 MOSFET 指数电流律的注意力机制电路，通过双电路结构恢复平衡传播所需的双向信息流。仿真显示该全晶体管物理学习 Transformer 可被训练完成简单上下文学习任务，需使用交叉熵损失而非均方误差。研究为物理神经网络实现注意力机制提供新路径。