应用

GUI Agent（图形界面智能体）

GUI Agent 是一种能理解图形用户界面并自主操作软件完成任务的 AI 智能体，它通过视觉感知和动作执行解决自动化跨应用工作流的问题，典型应用包括自动填写表单、操作办公软件，代表工作有 OpenAI 的 Operator 和 Anthropic 的 Computer Use。

收录于 2026/8/31相关资讯 14 篇近 30 天 5 篇在词典中查看 →

详细解释

传统自动化依赖脚本或 API，难以适应界面变化。GUI Agent 结合多模态大模型（如 GPT-4V）解析屏幕截图，识别按钮、输入框等元素，并生成鼠标点击、键盘输入等动作序列。其技术核心包括视觉定位、动作预测和任务规划。2024 年以来，随着多模态模型进步，GUI Agent 在 RPA、软件测试和辅助操作等领域展现出潜力，但仍面临泛化性、安全性和长任务规划等挑战。

别名与相关写法
gui agent

相关术语

Agent共现 14 篇
GUI 智能体共现 7 篇
agent evaluation共现 1 篇
agent memory共现 1 篇
Multimodal共现 1 篇
世界模型共现 1 篇

相关资讯

完整术语表见 AI 术语词典； 每日新术语与进展见 AI 早报。