★ 2
AgentDP:用 LLM 智能体自动完成异构嵌入式模型部署
论文提出 AgentDP,借助大模型智能体全自动完成预训练模型在异构嵌入式设备上的优化与适配。方法包含用户需求标准化、算子感知的模型切分以匹配不同推理引擎、以及超参数配置复用三个模块。实验显示模型适配总时长最多缩短 80%,任务精度平均提升 13% 以上。
arXiv cs.AI10 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 AgentDP,借助大模型智能体全自动完成预训练模型在异构嵌入式设备上的优化与适配。方法包含用户需求标准化、算子感知的模型切分以匹配不同推理引擎、以及超参数配置复用三个模块。实验显示模型适配总时长最多缩短 80%,任务精度平均提升 13% 以上。