★ 3
一个 Token 值多少算力？MoA 测量充分计算量
论文指出大模型对每个 token 花费相同算力，而投机解码与模型路由的前提是大量算力冗余，但单个 token 实际所需算力从未被测量。作者通过 Mixture-of-Agents 视角，用十五个不同容量模型逐 token 复现参考序列，将最小成功智能体的推理成本定义为该 token 的充分算力。结…
arXiv cs.AI28 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出大模型对每个 token 花费相同算力，而投机解码与模型路由的前提是大量算力冗余，但单个 token 实际所需算力从未被测量。作者通过 Mixture-of-Agents 视角，用十五个不同容量模型逐 token 复现参考序列，将最小成功智能体的推理成本定义为该 token 的充分算力。结…