arXiv 论文提出数据选择忠实性框架与可扩展算法
该论文指出,传统以最小化总体误差为目标的数据选择在信息论上不可行,除非验证集规模远大于训练集。作者转而提出「忠实性」单边保证,用可估计代理上界衡量子集训练与全量训练的差异,并以 Unadjusted Langevin Algorithm 建模训练过程。论文提出基于交换的局部搜索算法,在 CIFAR…
共 8 篇相关资讯,按重要度与时间排序,每 3 小时更新。
该论文指出,传统以最小化总体误差为目标的数据选择在信息论上不可行,除非验证集规模远大于训练集。作者转而提出「忠实性」单边保证,用可估计代理上界衡量子集训练与全量训练的差异,并以 Unadjusted Langevin Algorithm 建模训练过程。论文提出基于交换的局部搜索算法,在 CIFAR…
一篇研究论文提出「Trees to Flows and Back」框架,试图在决策树与扩散模型之间建立统一映射,实现两类模型的相互转换。该工作属于机器学习理论方向的方法论探索。
该论文提出一种几何框架,用平均核尺寸量化输入与目标关系中的模糊性,并给出与模型类别无关、可计算的确定性非渐近误差与精度边界。研究证明模糊性会带来经验误差下限、精度—稳定性权衡,以及分布与训练误差间的正间隙,并在表格回归、图像回归与分类实验中验证了边界的非平凡性。
论文用算法信息论形式化「组合结构」概念:当各部分合在一起揭示出单独建模时无法捕捉的共享结构时,组合结构便出现。作者进一步反转该框架,在字符串与图像上直接优化生成具有层级复用与部分-整体组织的对象,并讨论其对神经网络深度与组合式数据课程设计的启示。
论文提出 ORACLE 方法,将约束兼容性评估放在优化器更新之后,而非传统的事前修改目标或梯度。该方法在 8 个偏微分方程基准和 4 种优化器上,94% 配置中不劣于原生优化器,跨模型分析中 92% 配置保持同样表现。
研究系统梳理了压缩与机器学习的相互转化路径,包括归一化压缩距离、最小描述长度与熵编码。作者提出并验证了基于压缩的ML设计框架,发现其在恶意软件检测上显著优于常规基线,不同设计选择可带来最高0.62的准确率提升。
现有分布外(OOD)方法均为事后检测,依赖推理阶段的准确率与 AUC-ROC 间接评估。论文提出事前预测框架 PLSP,引入数据集无关的 CREDS 可信度评分、可信度曲线与可信度热图,刻画模型在不同数据集上的事前行为。实验表明该指标有助于提升模型对 OOD 的鲁棒性。
论文借助捕食者-猎物模型研究机器学习泛化,并回顾随机梯度朗之万动力学与 GAN 的生物学、化学解释。在固定次数多项式拟合含噪数据的例子中,捕食者-猎物模型优于梯度下降。作者进一步用 Eyring 公式等热力学论证解释 grokking(延迟泛化)现象。