★ 3
研究：将 LLM 控制编译为策略精确并行推理，层级 RAG 延迟降 47%
论文指出层级 RAG 中 LLM 控制器仍靠自回归串行解码，作者把有界视野控制编译为浅层动作前缀树，用一次根预填充加一次树因果探针即可并行评估所有前缀条件动作分布。在 MetaX 与 H800 设备上，编译控制与串行策略在 84%–89% 问题上一致，控制延迟相比逐 token 串行解码降低 35…
arXiv NLP10 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出层级 RAG 中 LLM 控制器仍靠自回归串行解码，作者把有界视野控制编译为浅层动作前缀树，用一次根预填充加一次树因果探针即可并行评估所有前缀条件动作分布。在 MetaX 与 H800 设备上，编译控制与串行策略在 84%–89% 问题上一致，控制延迟相比逐 token 串行解码降低 35…
论文指出基于强化学习的并行思维常出现推理路径同质化，削弱多假设探索的意义。作者提出 Diverse Parallel Thinking（DPT），通过惩罚并行路径前缀相似度奖励差异化推理策略，在多个推理基准上超过已有并行思维方法并开源代码。