★ 3
论文分析语言模型能否继承 Solomonoff 归纳
论文运用算法信息论、通用预测与贝叶斯一致性结果，分析语言模型能否逼近 Solomonoff 归纳。结论指出任何可计算模型都无法在统一意义上实现该目标，只能逐环境成立；并讨论上下文学习作为摊销贝叶斯推断等可继承性质。
arXiv cs.LG18 天前
#上下文学习
共 27 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 论文：SFT-as-Context 缓解监督微调中的遗忘
论文提出免训练方法 SFT-as-Context，让父模型以 SFT 模型的回答为上下文作答，通过上下文学习获取微调能力同时保留通用能力。在 19 对父子模型与 11 个基准上，该方法在微调能力上仅落后 SFT 模型约 2 个百分点，通用能力平均落后父模型 2.2 个百分点，并能解决两者单独均无法…
arXiv NLP23 天前
★ 3
空间归纳头：多维元胞自动机的上下文学习
论文研究 Transformer 如何在多维随机与确定性元胞自动机中克服序列化带来的空间路由问题，提出「空间归纳头」——两层 gather-and-match 电路，第一层重建空间邻域，第二层与先前出现匹配。作者证明空间路由所需位置维度仅取决于局部邻域与空间维度，并构造实现贝叶斯计数的匹配层。训练…
arXiv cs.LG24 天前
★ 3
研究：语言模型的上下文绑定容量上限
论文测量语言模型在丢失实体-值对应关系前能回忆多少绑定，对 12 个 3B 以下模型绘制连续回忆曲线，并对 30 个 12B 以内开源模型做阈值扫描。结果显示半数回忆负载遵循幂律 K50=cN^α，α 约为 0.82。研究还分析了干扰如何降低测得容量，并将该测量与工作记忆和指令遵循联系起来。
arXiv cs.LG34 天前
★ 3
Acacia：在网页图上训练的图基础模型
论文提出图基础模型 Acacia，完全基于 Common Crawl 网页图从零训练，不依赖预训练 LLM。它无需额外训练即可支持任意特征维度与语义，覆盖节点分类、链接预测、节点聚类和图生成等任务，并具备上下文学习能力。该结果提供了图模型可像 LLM 一样从零涌现能力的证据。
arXiv cs.AI34 天前
★ 3
通用多模态基础模型：支持任意模态组合与任意预测任务
论文提出一种通用多模态基础模型，摆脱对预设模态与单一任务的依赖，转而编码可迁移的多模态关联模式。方法基于大规模合成多模态数据训练，在 18 个真实数据集、12 种模态与 11 类任务上无需任务适配即可媲美专用模型。
arXiv cs.LG40 天前
★ 3
研究用状态空间模型做长上下文示例选择
论文利用状态空间模型线性推断时间特性解决长上下文示例选择问题，通过蒸馏Transformer学习小型SSM并映射输出用于下游示例选择。蒸馏SSM近似误差低于0.7%，在文本分类与推理任务上相比基线减少14.2倍FLOPs并提升6.48%准确率。
arXiv cs.LG45 天前
★ 3
研究：门控机制决定状态空间模型的记忆与上下文学习
该论文研究状态空间模型（SSM）在上下文学习与精确检索上落后于 Transformer 的原因，指出门控机制是关键。理论与实验表明，门控会让 SSM 先学到权重内的「记忆」解，延迟甚至阻止其收敛到正确的上下文学习解，即使架构与记忆容量并无根本限制。但门控也有助于提升长序列泛化能力，为改进线性时间模…
arXiv cs.LG46 天前
★ 3
研究：注意力平均场预测表征动态并揭示情境计算
论文提出对注意力机制的平均场分析：token 间平均注意力构成一个核，可逐层迭代以建模表征几何的演化。以语料为条件时，该核可仅凭输入嵌入与冻结权重进行开环预测，精度很高；以单一上下文为条件时，其偏离量（平均场偏差）可作为任务无关的上下文特定计算度量。研究发现训练早期模型与语料平均场几乎不可区分，在…
arXiv cs.LG46 天前
★ 3
研究：表格基础模型是否仍需特征工程
研究对两大表格基础模型（TFM）家族的多个版本进行受控实验，测试多种特征工程技术在TabArena基准上的效果。发现特征工程收益集中在早期模型代际，对最强模型已可忽略；但补充相关数据集的上下文信息仍能提升性能，表明性能增益来源正从输入重表示转向任务相关上下文。
arXiv cs.LG47 天前
★ 3
对比建模对齐多模态上下文学习推理路径
现有多模态上下文学习方法多依赖对示例的表面模仿，难以让MLLM对齐复杂任务所需的推理路径。论文提出新框架，将每个示例重构为同一输入下次优响应与更优响应的显式对比，并附揭示改进方式的推理路径，同时引入响应条件检索机制与轻量对齐控制器。在三类多模态任务上持续提升MLLM表现，视觉问答（VQA）增益尤为…
arXiv cs.AI52 天前
★ 3
★ 3
小米表格基础模型Xiaomi-TabLDM
小米发布表格数据基础模型Xiaomi-TabLDM，通过上下文学习实现分类与回归，无需微调。在多个基准上排名前列，训练和预测时间大幅减少，并支持测试时计算扩展以提升性能。
arXiv cs.AI58 天前
★ 3
SALA：上下文学习中复杂推理的语义感知逻辑对齐
提出SALA框架，自动学习任务特定推理操作并嵌入连续语义空间，用动态时间规整对齐推理序列。在四个推理基准上优于现有演示选择方法，兼具灵活性和可解释性。
arXiv cs.AI59 天前
★ 3
时间序列预测的上下文内修复
该研究提出ICI-Time框架，将时间序列预测重构为视觉修复任务，利用大型视觉模型的泛化能力。通过将时间序列转换为面积图并应用视觉上下文学习，无需微调即可进行预测，在流行病学、气象学和电力系统等实验中表现与深度学习基线相当，且在有限数据下具有适应性。
arXiv cs.AI67 天前
★ 2
银证据示范：用目标条件化摘要过滤 RAG 噪声上下文
论文提出「银证据示范」方法，将上下文学习示例中的原始检索段落替换为由 LLM 生成的目标条件化证据摘要，以缓解长噪声上下文淹没决策证据的问题。在 EI 2.0、SciFact、合成政策检索与 HICRIC/IMR 四个数据集上，方法在三个数据集上优于同等规模金标 ICL，并在所有标注数据集上提升证…
arXiv NLP6 天前
★ 2
POS-Signature 示例检索提升上下文依存句法分析准确率
论文研究上下文学习中的示例选择，提出用加权词性统计表示句子的 POS-Signature 策略，为 Universal Dependencies 句法分析检索长度兼容的标注示例。在两个开源权重模型上，该方法在 UD English Web Treebank 测试集取得最高标注依存分数（72.4 与…
arXiv NLP6 天前
★ 2
Poly-Ripple 用协作上下文学习实现室内无线电地图估计
arXiv 论文首次将室内无线电地图估计建模为协作上下文学习（ICL）问题，提出 Poly-Ripple 框架。多个客户端用大自回归视觉模型在无参数更新下做 ICL，并采用涟漪序自回归建模与重要性感知聚合。在公开基准上稳定优于代表性 ICL 基线。
arXiv cs.LG6 天前
★ 2
RareCipherFT 提出密文训练法提升稀有语种术语翻译
论文提出 RareCipherFT 方法，通过在上下文示例与参考译文中将稀有术语替换为字符打乱的密文，迫使模型只能从上下文中复制该术语，从而强化上下文术语学习（ICTL）能力。在英语与泰米尔语、阿萨姆语、米佐语、尼泊尔语、豪萨语七个翻译方向、1B 至 7B 四个模型上，术语召回率较标准 IC-Tr…
arXiv NLP12 天前
★ 2
arXiv 论文提出组件级框架评估上下文学习概念恢复
该研究指出上下文学习（ICL）预测准确并不代表模型真正掌握了底层概念。作者提出组件级概念恢复框架，将概念拆解为定义性组件并做受控结构干预，在四个指令微调 LLM 与三种组合形式上测试。结果显示模型常高准确率却整体概念恢复差，联合监督恢复与隐式预测可显著改善且能力可迁移。
arXiv cs.LG12 天前
★ 2
ECI2D：用可执行因果干预蒸馏自生成上下文示例
论文指出自生成上下文学习（ICL）的观察式过滤存在观察等价问题，忠实因果理由与虚假事后理由难以区分。提出 ECI2D，将语言理由抽象为可执行程序，在逻辑相似样本上施加因果干预（do 算子），仅保留具迁移不变性的示例。在数学、逻辑与常识推理基准上持续优于观察式 ICL，分布偏移时增益超 7 分。
arXiv NLP16 天前
★ 2
研究：语言模型上下文学习从复制到组合的演化
一篇 arXiv 论文通过受控诊断实验，区分模型是复制邻近示例还是整合提示信息，发现约三分之一模型偏好复制答案，其余偏好规则一致答案。检查点分析显示模型在准确率提升前就已优先关注任务相关提示词，合成文档训练可推动模型走向组合式回答，表明上下文学习并非单一能力。
arXiv NLP17 天前
★ 2
CB-Agent：基于概念的上下文学习用于序列动作选择
论文提出 CB-Agent，将基于概念的上下文学习扩展到序列动作选择，从专家轨迹中提取环境动作决策并以最大似然拟合概念向量，建模候选动作的条件分布。在 TextWorld、ALFWorld、ScienceWorld 三个基准上，该方法在三种模型规模下均取得最高跨基准平均成绩，并在 TextWorl…
arXiv cs.AI18 天前
★ 2
全晶体管物理学习Transformer实现上下文学习
论文构建基于亚阈值 MOSFET 指数电流律的注意力机制电路，通过双电路结构恢复平衡传播所需的双向信息流。仿真显示该全晶体管物理学习 Transformer 可被训练完成简单上下文学习任务，需使用交叉熵损失而非均方误差。研究为物理神经网络实现注意力机制提供新路径。
arXiv cs.LG20 天前
★ 2
关系基础模型上下文学习中的支持集目标泄漏
论文研究关系型上下文学习（ICL）中「支持集目标泄漏」问题：当支持样本含目标衍生特征而查询样本没有时，评估结果会失真。作者构造 20 个受控泄漏特征，在 13 个 RelBench 任务与 5 种关系 ICL 配置上评测，发现 0 跳与全泄漏影响最大，且泄漏效应强依赖任务与模型，甚至能反转模型间的…
arXiv cs.AI32 天前
★ 2
关系基础模型上下文学习中的支持集目标泄漏
论文提出「支持集目标泄漏」问题：关系型上下文学习中，标注支持集含查询时不可得的目标衍生特征，导致预测失效。研究构建14种泄漏类型（20列），覆盖不同噪声、覆盖率、模态与关系距离，在RelBench数据库上评估冻结关系编码器。结果显示目标表泄漏导致最明显性能退化，用积分梯度（IG）排序并移除可疑列可…
arXiv cs.AI32 天前
★ 2
稳态学习评估：BIRD-SQL F1 案例研究
该论文提出以「稳态学习」评估持续学习系统，在 BIRD-SQL 一级方程式数据集上考察长周期表现。结果显示，在 gpt-5.6-luna 上，无界上下文 ICL 的后期探测次数从 4.6-5.6 降至 0.95，但命中率提升有限，上下文膨胀至约 95k token、成本近乎翻倍。作者认为短周期增益…
arXiv cs.LG33 天前