★ 3
MaaS场景下AI推理自动优化闭环
QCon上海分享介绍了从算子调优到推理自治的完整链路,构建面向MaaS(模型即服务)场景的AI推理自动优化闭环。该方案旨在降低推理成本并提升服务稳定性,对推理平台工程实践有参考价值。
InfoQ AI43 天前
共 4 篇相关资讯,按重要度与时间排序,每 3 小时更新。
QCon上海分享介绍了从算子调优到推理自治的完整链路,构建面向MaaS(模型即服务)场景的AI推理自动优化闭环。该方案旨在降低推理成本并提升服务稳定性,对推理平台工程实践有参考价值。
论文报告了汽车制造业三年运行事件驱动云基础设施的工业经验,用于持续机器学习训练。系统编排GPU加速的物理预测模型与强化学习控制策略训练,结合ECS、EC2 GPU、SQS与准入控制Lambda调度器。基于4万余次生产训练任务,相比常开GPU基础设施实现72-78%成本降低,并开源模拟器与Terra…
一篇 Substack 文章讨论 AI 可观测性(observability)领域 Jev 与 Luna 两种方案或模型的差异。属于技术工具层面的小众讨论,受众有限。