★ 3
SolveBind 框架助 GUI 智能体突破验证码验证壁垒
研究提出受保护 GUI 环境概念，指出正确解出验证码不等于端到端完成任务。SolveBind 将验证拆解为感知、定位、求解、执行、核验五级求解树，并加入运行时监督与恢复预算。在九类验证码任务与九个骨干模型上，八个骨干取得最高成功率，较最强基线高 13.3 至 34.5 个百分点。
arXiv cs.AI7 天前
#GUI 智能体
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Trace2World：从真实交互轨迹重建应用环境训练 GUI 智能体
论文提出 Trace2World，将全局行为重建与代码实现分离，从真实交互轨迹中还原应用行为模型并编译为可执行环境。基于 1570 条轨迹构建 50 个环境，在 10 个应用的 200 条工作流上端到端复现率达 91.1%，远超基线 59.8%。在重建环境中训练使模型在自有基准上提升 20.2 分…
arXiv cs.LG10 天前
★ 3
PrefDiag-Bench 发布：GUI 智能体个性化任务最高仅 47.17%
研究者推出 PrefDiag-Bench，把用户偏好分为五类并用 1664 个探针做分阶段诊断，考察 GUI 智能体「如何」与「何时」应用偏好。评测 11 个 GUI 智能体系统，最佳模型 Seed-2.0-Pro 在显式用户画像下的流程类偏好仅 47.17%。瓶颈在于从用户历史中选取相关证据与判…
arXiv cs.AI10 天前
★ 3
研究提出 DAR 方法，质疑 GUI 世界模型的预测增益
论文研究 GUI 世界模型带来的动作选择增益究竟来自预测本身还是评估器。作者提出 Direct Action Ranking（DAR），直接从参考动作学习给候选打分而不生成未来界面。实验显示，在学习直接评估后，预测的后续界面不再提供可检测的排序信号；DAR 在 AndroidWorld 上任务成功…
arXiv cs.AI13 天前
★ 3
MAI-Gym：跨移动与电脑的 GUI 智能体开源评测训练平台
论文发布 MAI-Gym，一个统一 GUI 智能体评测、数据采集与在线 RL 训练的开源平台，覆盖移动、电脑与网页环境，支持十个基准与两万并行环境实例。基于该平台训练的 MAI-Gym-9B 在 10B 参数以下开源 GUI 智能体中取得最优成绩，MobileWorld 78.4%、OSWorld…
arXiv cs.AI17 天前
★ 3
PastForward：端侧 GUI 智能体加速方案
针对 GUI 智能体在边缘设备上推理成本高的问题，研究提出 PastForward，通过复用普通任务执行中积累的计算经验来加速。它在解码阶段检索历史输出序列作为多 token 提议并单次前向验证，同时跨动作步复用 KV 状态。在 AndroidWorld 上实现 1.63 至 2.36 倍延迟加速…
arXiv cs.AI34 天前
★ 2
TAG-Nav 框架用图记忆提升移动 GUI 智能体导航成功率
论文提出 TAG-Nav，一个任务无关的图导航框架，为现有 GUI 智能体骨干附加可复用的目的地记忆，把离线探索蒸馏为应用功能、目标页面与路径记录。作者同时发布 DestBench 导航专用评测协议。实验显示图记忆使 UI-TARS-1.5-7B 严格导航成功率从 52.4% 升至 58.3%，Q…
arXiv cs.AI13 天前
★ 2
ECHOES 用特权在线策略蒸馏压缩 GUI 智能体历史，免存截图
论文提出 ECHOES，采用「压缩—思考—行动」格式递归更新文本历史状态，并以具备多图特权输入的同模型作为教师，对学生轨迹做 token 级在线策略蒸馏。配套 PMF Gap 引导的 OPD-RL 框架动态平衡蒸馏与任务奖励。部署时不保留历史截图，在四个 GUI 基准与自建 ECHOESBMK 上…
arXiv cs.AI13 天前