★ 3
掩码扩散LLM服务：真实硬件特征与设计原则
该研究首次在真实并发服务负载下刻画掩码扩散语言模型（dLLM）的服务行为，使用LLaDA-8B-Instruct和D2F LoRA适配器在单个NVIDIA H200 GPU上评估。研究发现请求难度是离散的（11个固定步数级别），短生成预算低估服务方差，且仅24%的单请求墙钟时间为GPU计算，其余为…
arXiv cs.AI68 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该研究首次在真实并发服务负载下刻画掩码扩散语言模型（dLLM）的服务行为，使用LLaDA-8B-Instruct和D2F LoRA适配器在单个NVIDIA H200 GPU上评估。研究发现请求难度是离散的（11个固定步数级别），短生成预算低估服务方差，且仅24%的单请求墙钟时间为GPU计算，其余为…