MAI-UI ：阿里通义开源的全尺寸GUI智能体基座模型

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

主要介绍

MAI-UI是阿里通义实验室推出的全尺寸GUI（图形用户界面）智能体基座模型，旨在通过理解屏幕界面并执行操作，完成跨应用、多步骤的复杂任务。该模型原生集成了用户交互、MCP工具调用与端云协同三大核心能力，支持跨App操作、模糊语义理解与主动提问澄清，通过大规模在线强化学习实现复杂任务自动化，在出行、办公等高频场景中表现卓越，已登顶ScreenSpot-Pro、MobileWorld等多项SOTA评测。

功能特点

1. 用户交互能力：当用户指令不完整或模糊时，MAI-UI能主动提问以澄清关键信息，确保任务执行符合用户真实意图。例如，在家庭购物场景中，若用户提到“检查日历中老婆要在盒马买什么”，MAI-UI会读取日历后主动询问“检测到待办中有‘车厘子’和‘洗衣液’，要一起加入购物车吗？”，避免臆断操作。
2. 工具调用能力：通过Model-Callable Protocol（MCP）直接调用外部工具（如地图搜索、路线规划API），将复杂的UI操作简化为高效、可靠的API调用。例如，在出行规划任务中，MAI-UI可直接调用高德地图API获取附近网点、计算通勤时间，并将结果自动写入笔记App，而非通过繁琐的界面点击完成。
3. 端云协同能力：本地轻量模型（如2B版本）负责日常任务执行与轨迹监控，当任务在端侧卡住且不涉及隐私信息时，系统会触发云端大模型（如32B版本）接力，确保任务顺利完成。涉及隐私的操作（如支付密码输入）则全程在本地执行，保障用户数据安全。
4. 动态环境适应性：在真实环境中面对弹窗、广告、UI变化等干扰时，MAI-UI能自主回退或重新定位，确保任务连贯性。例如，在删除重复支出记录的任务中，即使模型被意外带入错误App或反复返回主屏幕，仍能识别轨迹偏离并恢复执行。

优缺点

优点：

1. 任务执行效率高：通过工具调用与端云协同，MAI-UI将数十步易错的UI操作压缩为几次可靠API调用，大幅提升任务成功率与效率。例如，在MobileWorld评测中，其MCP工具调用子任务成功率达37.5%，较其他GUI模型提升32.1个百分点。
2. 隐私保护性强：端云协同架构严格区分敏感与非敏感任务，非敏感任务可安全上云以利用云端算力，敏感操作则坚决本地化，确保用户数据始终处于可控边界之内。
3. 泛化能力强：通过大规模在线强化学习，MAI-UI在动态环境中进行训练，支持超长轨迹（最长50步）和动态扰动注入机制（如弹窗、权限、UI偏移），能适应真实GUI任务中的各种干扰。

缺点：

1. 模型部署门槛较高：端云协同架构需要开发者具备一定的云端服务配置能力，对于个人开发者或小型团队而言，部署与维护成本可能较高。
2. 对硬件资源有一定要求：虽然提供了2B等轻量级模型，但在执行复杂任务时仍需依赖云端算力，若网络环境不佳或云端服务不可用，可能影响任务执行效率。

如何使用

MAI-UI提供了以下使用方式：

1. 通过预集成应用使用：MAI-UI已集成至钉钉等阿里生态应用中，用户可直接在应用内调用其功能。例如，在钉钉中通过语音指令让MAI-UI查询车票、同步会议安排等。
2. 使用官方提供的GUI工具：阿里可能提供基于MAI-UI的图形化工具，用户可通过拖拽组件、填写参数等方式配置任务流程，无需编写代码即可实现复杂任务自动化。
3. 参考官方教程与案例：阿里会发布MAI-UI的详细使用教程与案例库，用户可通过学习教程快速上手，并参考案例库中的任务配置方案解决实际问题。

框架技术原理

MAI-UI框架通过自主进化数据管线和大规模在线强化学习技术，实现了从2B到235B-A22B的全尺寸覆盖。其核心原理包括：

1. 自主进化数据管线：将用户交互、MCP工具调用等多维度数据集成到训练过程中，通过人工标注和模型自动生成高质量的训练数据，数据管线能持续更新，使模型在复杂场景中不断进化。
2. 大规模在线强化学习：模型在动态环境中进行训练，支持超长轨迹和动态扰动注入机制，通过不断试错与优化提升泛化性和稳健性，确保在真实GUI任务中的连贯性和成功率。
3. 端云协同架构：本地轻量模型作为“轨迹监控器”，实时判断任务执行路径是否偏离用户意图；云端大模型则负责处理复杂任务，两者协同工作以提升整体性能。

创新点

1. 原生集成三大核心能力：MAI-UI首次将用户交互、MCP工具调用、端云协同三大能力通过自主进化数据管线和大规模在线强化学习技术原生地集成于统一架构之中，实现了从任务理解到执行的全流程自动化。
2. 工具优先的设计原则：在训练中显式包含mcp_call动作，当模型识别到任务可通过结构化工具更高效完成时，会优先选择调用而非操作GUI界面，大幅提升了任务执行的成功率与效率。
3. 动态环境适应性：通过在线强化学习提升模型在真实GUI任务中的泛化性与稳健性，使其能应对弹窗、广告、UI变化等动态干扰，确保任务连贯性。

评估标准

MAI-UI的评估主要基于以下标准：

1. GUI视觉定位能力：在不同操作系统中评估模型对屏幕元素的识别与定位准确性。
2. 任务执行能力：在跨应用、多步骤的复杂任务中评估模型的执行成功率与效率。
3. 用户交互能力：评估模型在指令不明确或模糊时主动提问澄清的能力，以及用户澄清后任务执行的准确性。
4. 工具调用能力：评估模型通过MCP协议调用外部工具完成任务的效率与准确性。
5. 端云协同能力：评估模型在端侧与云端之间的任务切换效率与隐私保护能力。

应用领域

MAI-UI适用于多种场景，包括但不限于：

1. 出行场景：规划公交地铁出行路线、查询车票信息、同步到达时间等。
2. 办公场景：查找并发送简历文件、调整会议安排、同步重要信息等。
3. 家庭生活场景：根据日历待办事项提示购物清单、管理家庭开支等。
4. 社交场景：在通讯群组中同步信息、@相关人员等。
5. 学习与教育场景：打开学习平台、找到指定课程、记录课程重点内容等。

项目地址

MAI-UI的项目地址包括：

• GitHub仓库：https://github.com/Tongyi-MAI/MAI-UI
• HuggingFace模型库：https://huggingface.co/Tongyi-MAI/models