★ 3
TASCO:稳定性感知的LLM推理测试时适应
研究指出高置信度并不代表正确,但若置信度在局部扰动下保持稳定则更可能正确。据此提出TASCO框架,在保持LLM冻结的前提下,通过优化轻量级任务前缀将局部稳定性纳入置信度驱动的测试时适应,采用随机扰动与锐度感知扰动两种策略。实验显示TASCO在多种LLM与推理基准上提升准确率与token效率,且不使…
arXiv cs.AI51 天前
共 4 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究指出高置信度并不代表正确,但若置信度在局部扰动下保持稳定则更可能正确。据此提出TASCO框架,在保持LLM冻结的前提下,通过优化轻量级任务前缀将局部稳定性纳入置信度驱动的测试时适应,采用随机扰动与锐度感知扰动两种策略。实验显示TASCO在多种LLM与推理基准上提升准确率与token效率,且不使…
论文提出误差反馈校准(EFC),一种完全在测试时运行的确定性后处理框架,利用已揭示的预测误差构建因果误差对角线,并通过累积误差传输映射未来残差。实验显示该方法在多种骨干与数据集上普遍提升预测性能,同时抑制有害的过度校正。
CF-NODE 不依赖预测置信度或目标分布估计,而是对支撑预测的内部空间节点施加受控干预,依据响应稳定性对预测分级分布做有界校准。框架完全冻结、逐图独立适应,在五个外部糖尿病视网膜病变数据集上优于 TENT、EATA、SAR、T3A,所有目标域 AUC 均有提升。
论文针对测试时发现(TTD)任务中已知与未知类特征能量间隙不稳定、易坍缩的问题,提出 Energy Ring 方法。该方法将两类锚定在分离的能量环上,用轻量适配器扩大范数间隙并保持已知类方向,配合扰动一致性模块形成未知类紧凑簇。实验显示其显著优于现有 TTD 方法。