★ 3
Scout 路由法：用小模型预填充预测任务成功与 token 数
论文提出用单个小型冻结 LLM（scout）的预填充激活，同时预测候选模型的成功概率与输出长度，从而按查询定价路由成本。在九个数据集中的八个上，预测成本在同等准确率下比中位长度定价节省 9–33%，最高达完美信息可节省量的 69%。scout 规模约 2B 时收益饱和，超过 4B 反而得不偿失。
arXiv cs.AI9 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出用单个小型冻结 LLM（scout）的预填充激活，同时预测候选模型的成功概率与输出长度，从而按查询定价路由成本。在九个数据集中的八个上，预测成本在同等准确率下比中位长度定价节省 9–33%，最高达完美信息可节省量的 69%。scout 规模约 2B 时收益饱和，超过 4B 反而得不偿失。