GUI 智能体

GUI 智能体通过多模态模型理解屏幕截图，识别按钮、输入框等元素，再输出点击、输入、滚动等操作，在真实软件中完成订票、填表等任务。其难点在于界面元素定位、长程任务规划与错误恢复。相比依赖 API 的方案，它可直接操作任意软件，通用性强，但速度慢、稳定性与安全性仍是落地瓶颈，代表工作有 SeeAct、CogAgent 等。