★ 2
UniPipe:单GPU统一推理与微调,降低DNN代理截止期违约
arXiv 论文提出 UniPipe,在单块边缘 GPU 上以单上下文统一 DNN 代理模型的推理服务与在线微调。它把训练与推理数据融合进一次前向传播,并用多项式时间调度器按延迟曲线组合批次。在叠层成像重建工作流上,重建 MSE 最多降低 30%,截止期违约率比多上下文基线下降 13%-22%。
arXiv cs.LG6 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
arXiv 论文提出 UniPipe,在单块边缘 GPU 上以单上下文统一 DNN 代理模型的推理服务与在线微调。它把训练与推理数据融合进一次前向传播,并用多项式时间调度器按延迟曲线组合批次。在叠层成像重建工作流上,重建 MSE 最多降低 30%,截止期违约率比多上下文基线下降 13%-22%。