研究发布推理工程帕累托图谱,测54种Qwen2.5-7B配置
LLM 推理优化常在不同模型、GPU、提示与质量指标上报告加速,难以比较或组合。论文构建成本、质量与延迟的帕累托图谱,实测 Qwen2.5-7B-Instruct 在 vLLM 0.12 及 L4/A100/H100 上的 54 种配置并校准模拟器。结果显示组合方法更常进入前沿;AWQ 4bit …
共 6 篇相关资讯,按重要度与时间排序,每 3 小时更新。
LLM 推理优化常在不同模型、GPU、提示与质量指标上报告加速,难以比较或组合。论文构建成本、质量与延迟的帕累托图谱,实测 Qwen2.5-7B-Instruct 在 vLLM 0.12 及 L4/A100/H100 上的 54 种配置并校准模拟器。结果显示组合方法更常进入前沿;AWQ 4bit …
论文提出MoFlow,将智能体工作流生成建模为多目标马尔可夫决策过程,用凸包蒙特卡洛树搜索与乐观集合值回传,使单次搜索近似覆盖帕累托前沿。用户可按偏好直接查表获取工作流,无需重新训练。在数学、代码与问答六个基准上,即便在偏向基线的评测设置下,MoFlow仍取得最高平均超体积。
论文系统分析LLM交互中隐私保护与下游性能的权衡机制,揭示上下文依赖效用、策略性适配与组合交互三大机制。基于此提出意图驱动的本地保护框架,蒸馏轻量模型Veilmind-4B驱动动态抽取-净化-恢复流水线。该方法在低泄漏隐私点下保持显著更高的响应效用,推进帕累托前沿。
最新开源模型在帕累托前沿上展现出实用性,包括Laguna S2.1、Inkling和Kimi K3。这表明训练强大模型的能力正在扩散,开源生态持续繁荣。
论文针对多目标贝叶斯优化在预算紧张时难以同时兼顾收敛与多样性的问题,提出先收敛后多样(CTD)方法,将两个目标解耦为两阶段。第一阶段快速将搜索推向帕累托前沿的某一点,第二阶段将解分散到整个前沿。在446组两两对比中,CTD在72.9%的情况下统计显著优于现有方法,在预算极紧或高维问题上优势尤为明显。
一段视频展示了大型语言模型在性能与成本等维度上的帕累托前沿随时间的变化。该内容在 Hacker News 上获得少量讨论,属于对模型能力演进趋势的可视化梳理。