★ 3
异构批处理加速迭代检索服务系统Orthrus
针对嵌入模型与生成模型隔离执行导致吞吐低、GPU利用率差的问题，论文提出Orthrus服务系统，在统一推理循环内进行异构批处理，通过分块嵌入与增量池化及工作负载感知的批次组合优化性能。在四块A100 GPU上，受控工作负载吞吐提升1.28至4.52倍，迭代RAG基准端到端p99延迟最多降低55.8…
arXiv cs.AI40 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对嵌入模型与生成模型隔离执行导致吞吐低、GPU利用率差的问题，论文提出Orthrus服务系统，在统一推理循环内进行异构批处理，通过分块嵌入与增量池化及工作负载感知的批次组合优化性能。在四块A100 GPU上，受控工作负载吞吐提升1.28至4.52倍，迭代RAG基准端到端p99延迟最多降低55.8…