- 类型
- 新闻
- 来源
- 公众号 · PaperWeekly
- 发布
- 2026年9月23日 15:53
- 状态
- 单一信源
发生了什么
浙江大学、南开大学、香港中文大学、上海交通大学与 vivo AI Lab 的研究团队提出 MemGUI-Bench,用于系统评测 GUI Agent 在动态环境中的短期信息保持与跨会话学习能力,该工作已被 ACM Multimedia 2026 接收。Benchmark 覆盖 128 个任务,公开 Leaderboard 已从初版 11 个 Agent 扩展至 26 个系统。最新结果显示 GUI-Owl-1.5-32B-Instruct 在 AndroidWorld 成功率 69.8%,而 MemGUI-Bench 单次尝试 p@1 仅 10.9%;Gemini-3.1-Pro-Preview 从 70.7% 降至 43.8%。
为什么重要
此前 GUI Agent 评测多集中在单页或单指令操作,关键信息通常就在任务指令或当前页面中,Agent 无需精确保留历史。MemGUI-Bench 把评测拉长到跨数十步、多应用乃至多次会话,并给出公开 Leaderboard,使“会操作”与“会完成长程任务”之间的差距可被量化对比。