AutoHebb:可零样本推理与持续学习的自修改神经网络
论文提出 AutoHebb,一类在线学习前馈网络,通过内部产生的「神经调质」全局信号门控三因子 Hebbian 局部学习规则。用元学习搜索固定权重后,网络在零样本推理与持续学习任务上优于现代学习模型。消融显示元学习、Hebbian 可塑性与自主学习控制三者缺一不可。
共 19 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 AutoHebb,一类在线学习前馈网络,通过内部产生的「神经调质」全局信号门控三因子 Hebbian 局部学习规则。用元学习搜索固定权重后,网络在零样本推理与持续学习任务上优于现代学习模型。消融显示元学习、Hebbian 可塑性与自主学习控制三者缺一不可。
论文提出FREEEVOLVE,将智能体进化器的优化循环本身自动化,由进化器自行决定测试内容、证据收集与停止时机。在tau3-bench、ARC-AGI-2/3和Terminal-Bench 2.1上平均提升13.6分,元进化技能可跨环境迁移。
论文提出“任务无关环境预处理”设定:Agent 在未知下游任务分布的情况下,先探索环境并生成索引、脚本等可复用产物供冻结求解器使用。在六个异构基准上,配备档案的元智能体在五项取得最高 Avg@3 奖励,且研究产物可减少测试时采样需求,将计算从反复试错转移到前置学习阶段。
论文提出 CAP(候选获取策略),利用已完成相关优化任务的历史记录建模共享结构与任务差异,学习反馈条件化的顺序查询策略。在五个合成任务族与 BOPTEST、SU2 两个工程仿真基准上,CAP 在多数任务上取得最低中位最终预算值,表明稀疏历史记录可支持新任务的自适应查询。
论文指出 Prior-Data Fitted Networks(PFN)在目标函数长度尺度超出元训练先验时,预测似然与优化性能落后于重拟合高斯过程。作者提出各向异性信赖域(ATR)扭曲,通过核目标对齐估计逐维长度尺度并仿射重缩放输入空间,无需重训网络即可改善优化表现,推理成本不变。
论文提出 CHORD,一种基于关系图判别的跨模型幻觉检测框架,解决不同 LLM 隐状态语义不一致导致的检测器迁移难题。方法将层、token、特征建模为联合关系图,结合关系感知注意力与元学习提取可迁移信号。实验显示其在跨模型泛化上优于代表性检测方法,代码已开源。
论文提出 MotherTree,一种表格 Transformer,通过元学习决策树归纳,单次前向传播即可输出硬轴对齐决策树。在合成先验上预训练后,其性能与常见算法相当,并可作为强初始化器,任务微调后全面优于从零训练。
论文验证测定异质性会削弱元学习效果,提出 MetaHeta 框架,通过相关测定辅助数据条件化预测。该架构结合大辅助数据集上的线性注意力与稀缺任务上下文的精确注意力,在 ChEMBL 与 BindingDB 上提升少样本预测与化合物优先级排序。
论文提出元多智能体强化学习框架,将 MARL 建模为马尔可夫博弈,实现跨博弈分布的交互策略快速适应。作者定义 meta-NE 解概念并证明其与梯度博弈算法稳定点的等价条件,在自动驾驶任务上验证了比预训练 MARL 基线更快的适应速度。
该论文提出 HYB(nm) 自适应混合集成框架,通过元学习器动态融合历史基线、周期时序分析、Koopman 神经算子、天气特征网络与实时图卷积网络五种模型,用于公交到站时间(ETA)预测。在印度加尔各答三条公交线路、超 4000 次行程的 GPS 与天气数据上评估,精度媲美领先图神经网络,并在稳定…
现有双层优化研究多局限于下层强凸或凸的假设,难以覆盖实际机器学习问题。论文提出基于二阶平稳性的替代重构方法,并给出 PROBE 算法,可探测并逃离下层鞍点。理论上首次在一般下层非凸设定下证明达到下层二阶平稳解的有限时间收敛率 O(T^{-2/5}),在大模型数据筛选与元学习任务上优于现有方法。
论文提出 CORE-STACK+ 预处理流水线,解决异构视觉骨干堆叠中的预测空间多重共线性与校准崩塌问题。其四个组件包括核化冗余过滤、可微元特征门控、谱自适应 Ridge 惩罚与拉普拉斯近似贝叶斯混合器,并给出联合考虑冗余与元学习器容量的 PAC-Bayes 超额风险界。在六个基准上提升精度与鲁棒…
论文提出面向图小样本增量学习的轻量塑性记忆框架,核心是随时间演化的塑性记忆模块,持续更新扩展以容纳新类并保留旧知识。该模块采用演化微聚类结构动态更新类原型、子原型及其交互权重,并构建记忆驱动的元学习框架。在四个基准数据集上验证了其在稳定性与适应性间的优越平衡。
论文提出用算子图显式表达偏微分方程中字段、导数、项与残差的关系,系数作为项属性保留,再由图超网络生成对角编码以初始化元训练后的因式化 PINN。作者在固定适配预算下比较系数向量、DeepSets 项集与图条件三种描述方式。在双场 Fisher-KPP 未见双向耦合任务上,图条件方法最终误差较项集低…
论文指出分解式算法选择中,分区级评分授予了族内最优算法的预言机选择权,而实际部署系统必须用学习到的选择器替代,导致评分虚高。作者定义部署保真度差距G(R),在五个公开基准上均观察到正差距,最大达0.13。研究建议分区评分与端到端评分应并列报告。
论文针对随机动作集下的对抗线性上下文赌博机(ALCB)元学习空白,提出 Meta-LinEXP3 在线嵌套在线算法,从已完成任务构建可预测的任务级先验指导内层 LinEXP3。已知上下文分布时给出内在维度 O(√n) 的每任务遗憾界,未知分布时提出仅用过去的正则矩估计器。研究还建立先验精度与迁移遗…
论文将跨E3连接酶的PROTAC降解活性预测重构为少样本元学习问题,提出基于原型的图神经网络ProMeta,通过情景式元学习训练并在未见过的目标E3任务上评估。在CRBN到VHL基准上,K=2、Q=3时AUROC达0.796,K=2、Q=5时达0.883,分别比监督GNN基线提升19.9%和6.8…
该论文研究带指示切换成本的在线凸优化动态遗憾问题,此类成本刻画服务器激活、模型部署等启动开销。作者证明直接扩展现有技术会失败,并提出基于元学习的框架,用随机惰性 FTRL 基学习器与运动感知主算法聚合。所得界在无需预知切换次数与路径长度的情况下达到极小极大最优。
论文研究多用户下行中发射预编码与STAR-RIS透射/反射系数的联合优化以最大化加权和速率,提出粒子群辅助梯度元学习算法PSA-GML。该方法用PSO提供鲁棒热启动,再用LSTM元优化器联合精调,在10dB、32单元、4用户下达11.06 bits/s/Hz,比交替优化高13.1%,并可零样本跨场…