★ 3
Vela:用真实用户行为监督提升 LLM 智能
研究者提出 Vela 框架,将真实用户行为数据转化为可训练任务与轨迹。基于 10 万用户的匿名行为记录生成 10 万个任务,微调 Qwen3.6-35B-A3B 后在用户相关任务上最高提升 11.5 分,通用基准平均提升 4 分,表明用户行为是可扩展的监督信号。
arXiv NLP19 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出 Vela 框架,将真实用户行为数据转化为可训练任务与轨迹。基于 10 万用户的匿名行为记录生成 10 万个任务,微调 Qwen3.6-35B-A3B 后在用户相关任务上最高提升 11.5 分,通用基准平均提升 4 分,表明用户行为是可扩展的监督信号。
论文提出 GIST,利用表格基础模型预训练中生成器的中间状态来揭示标签不确定性,对条件标签分布上的查询损失取平均。该方法联合设计任务生成与查询监督,使用熵校准编码获得可处理的目标。在 TabArena 与 TALENT 上,GIST 在不改变架构与推理的情况下提升三种架构的平均排名。