★ 2
GIST：面向表格基础模型的生成器状态监督方法
论文提出 GIST，利用表格基础模型预训练中生成器的中间状态来揭示标签不确定性，对条件标签分布上的查询损失取平均。该方法联合设计任务生成与查询监督，使用熵校准编码获得可处理的目标。在 TabArena 与 TALENT 上，GIST 在不改变架构与推理的情况下提升三种架构的平均排名。
arXiv cs.LG21 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 GIST，利用表格基础模型预训练中生成器的中间状态来揭示标签不确定性，对条件标签分布上的查询损失取平均。该方法联合设计任务生成与查询监督，使用熵校准编码获得可处理的目标。在 TabArena 与 TALENT 上，GIST 在不改变架构与推理的情况下提升三种架构的平均排名。
论文提出 PFN-OPE，一种先验数据拟合网络，将离策略评估摊销到上下文赌博机任务分布上，一次预训练即可在测试时单次前向传播给出价值估计，无需逐任务拟合。在 HelpSteer2 与 UltraFeedback 上误差比最佳基线低 2.0 至 9.3 倍。