★ 3
策略性自洽：模型提供商可虚增推理路径数欺骗审计
论文揭示自洽推理存在经济激励漏洞：按推理路径数量计费的模式下，不诚信的模型提供商可通过生成并策略性重排额外推理路径，使每条路径看似对多数投票不可或缺，从而虚增计费且规避审计。作者在 Llama、Qwen 及 DeepSeek-R1 蒸馏模型上验证，即使审计误报率控制在 0.1 以下，仍存在可观的超…
arXiv cs.LG35 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文揭示自洽推理存在经济激励漏洞：按推理路径数量计费的模式下，不诚信的模型提供商可通过生成并策略性重排额外推理路径，使每条路径看似对多数投票不可或缺，从而虚增计费且规避审计。作者在 Llama、Qwen 及 DeepSeek-R1 蒸馏模型上验证，即使审计误报率控制在 0.1 以下，仍存在可观的超…
该论文提出一种递归离线蒸馏方法，结合基于熵增益的采样与答案混合两种技术，在无法完全访问教师模型内部表示的情况下，将大模型推理链蒸馏到 3-4B 小模型。实验显示该方法在同等数据预算下平均得分 57.15，优于朴素蒸馏的 51.61，且学习曲线更陡峭。研究还对比了蒸馏轨迹生成与归一化的不同方法。