W
AI-Wiki
ENTITY

ARTEMIS

定义与身份

ARTEMIS 是 Google 开源的移动端 AI 自动化项目,项目地址为:https://github.com/google/artemis。

ARTEMIS 的官方定位是:

Let AI assistants and test suites use real phones like a human.

也就是:让 AI 助手 和测试套件像人一样使用真实手机。

在来源文章的描述中,ARTEMIS 的核心能力是把自然语言指令转化成可靠的 Android 自动化操作。它主要面向两类场景:

  • 移动端 AI 自动化测试:让测试套件不再只依赖元素 ID、固定坐标或脆弱脚本来执行手机 UI 操作;
  • AI 助手控制手机:让 Claude Code、Codex 等工具通过集成能力直接操作真实 Android 设备。

背景问题

传统移动端 UI 自动化常见两类方案,各自有明显边界:

  • 使用元素 ID 或坐标写脚本:执行速度快,但非常脆弱。界面布局稍有变化,测试用例就可能大面积失效,维护成本会随着应用迭代持续上升;
  • 使用视觉模型驱动自动化:相对更稳,但速度慢、成本高,很难承担大规模回归测试。

ARTEMIS 的设计目标不是简单在“快但脆弱”和“稳但慢”之间二选一,而是通过双执行模式、历史压缩和多模态定位机制,在速度、可靠性和复杂任务处理能力之间取得折中。

核心职责

ARTEMIS 在移动端自动化链路中的职责可以概括为:

  • 接收自然语言任务,例如要求打开设置、查找电池信息、读取当前电量;
  • 观察真实 Android 设备当前界面状态;
  • 将任务拆解为可执行的 UI 操作;
  • 在手机上执行点击、输入、导航等动作;
  • 在需要时验证任务是否完成;
  • 为 AI IDE 或智能体提供可调用的真实设备操作能力。

因此,ARTEMIS 不是单纯的截图识别工具,也不是只靠 UI 树或 OCR 的定位脚本,而是一个围绕真实 Android 设备交互构建的 AI 自动化执行框架。

双执行模式

ARTEMIS 的核心亮点之一是提供 Flash 与 Pro 两种执行模式。两种模式面向不同任务复杂度,在速度和可靠性上取舍不同。

Flash 模式

Flash 模式约 3–5 秒/步。

它采用单模型的“观察 - 思考 - 执行”反应式循环,不进行图编排。也就是说,模型在每一步观察当前界面,思考下一步动作,然后直接执行。

Flash 模式适合:

  • 常规 UI 操作;
  • 确定性较强的路径;
  • 步骤较短、变化较少的任务;
  • 对执行速度要求较高的自动化场景。

它的优势是快、路径短、开销低;边界是对长流程、复杂条件判断、需要阶段性验证的任务不如 Pro 模式稳健。

Pro 模式

Pro 模式约 15–40 秒/步。

它采用多智能体图结构,由三个角色协同:

  • Planner:制定任务计划;
  • Operator:执行具体操作;
  • Checker:验证任务是否完成或执行是否正确。

Pro 模式适合更长、更复杂的任务。来源文章称,该模式可以处理 100 多步的长流程任务 和 持续监控 场景。

与 Flash 模式相比,Pro 模式更慢,但多了显式规划和验证,适合那些不能只靠单步反应完成的移动端任务。

历史压缩机制

Flash 和 Pro 两种模式共用一套历史压缩机制。

该机制会把旧截图替换成视觉摘要,并把已经完成的步骤压缩为可检索的历史片段。这样做的作用是:

  • 降低长任务中的上下文负担;
  • 保留关键历史信息,避免模型遗忘前面已经完成的步骤;
  • 支持更长流程的持续执行;
  • 为 Pro 模式处理 100 多步任务提供基础。

这里的压缩不是简单删除历史,而是把视觉状态和完成步骤转化为后续仍可检索、可参考的摘要片段。

MCP 原生集成

ARTEMIS 支持 MCP 原生集成,使 Claude Code、Codex 等 AI 编程或智能体环境可以获得操作真实 Android 设备的能力。

来源文章给出的安装示例包括:

# 一键安装全局 MCP 服务与 Rules 到 Antigravity / Jetski
uv run artemis mcp --install antigravity

# 或一键安装到所有支持的 AI IDE(包括 Codex)
uv run artemis mcp --install all

这意味着 ARTEMIS 可以被放入更大的 AI Agent Skill 或智能体工具链中:上层 Agent 负责理解用户意图和编排任务,ARTEMIS 负责把移动端操作落到真实 Android 设备上。

多模态容错定位

ARTEMIS 的 UI 元素定位不是单纯依赖 OCR,也不是只依赖 UI 树。

来源文章描述的定位顺序是:

  1. 优先使用无障碍服务的元素索引;
  2. 如果找不到目标元素,再回退到坐标定位;
  3. 必要时使用视觉定位。

这种 多模态 UI 元素定位 方式的意义在于:当某种信息源不可靠或不可用时,系统仍可以通过其他模态继续完成操作。例如,页面结构变化、控件无稳定 ID、OCR 识别不完整或布局发生偏移时,仍有机会通过坐标和视觉信息完成容错。

快速入门信息

来源文章给出了 ARTEMIS 的安装与启动方式。

macOS 与 Linux

# 1. 克隆代码仓库并进入目录
git clone https://github.com/google/artemis.git && cd artemis

# 2. 一键启动
./start.sh

Windows PowerShell

# 1. 克隆代码仓库并进入目录
git clone https://github.com/google/artemis.git
cd artemis

# 2. 一键启动
.\start.bat

启动后,ARTEMIS 会自动在默认浏览器中打开 Web 控制台:

http://localhost:8000

该控制台提供:

  • 设备连接向导;
  • 实时投屏;
  • 任务演练;
  • 状态回放面板。

也可以直接通过命令行运行任务,例如:

uv run artemis run "Open Settings, find Battery and tell me current level" --profile flash

这个示例表达的任务是:打开设置,找到电池信息,并告知当前电量;同时指定使用 Flash 模式执行。

关键信息

项目信息
名称ARTEMIS
作者Google
开源地址https://github.com/google/artemis
官方定位Let AI assistants and test suites use real phones like a human.
核心能力将自然语言指令转化为可靠的 Android 自动化操作
主要场景移动端 UI 自动化测试、AI 助手控制真实 Android 手机
Flash 模式速度约 3–5 秒/步
Flash 模式机制单模型观察 - 思考 - 执行反应式循环,无图编排
Flash 模式适用任务常规、确定性的 UI 操作
Pro 模式速度约 15–40 秒/步
Pro 模式机制Planner 制定计划、Operator 执行、Checker 验证
Pro 模式适用任务更长、更复杂的任务,来源文章称可处理 100 多步长流程和持续监控
定位机制优先无障碍服务元素索引,失败后回退到坐标定位和视觉定位
集成方式MCP 原生集成,可接入 Claude Code、Codex 等工具链

细节与边界

ARTEMIS 的关键边界在于模式选择:

  • 如果任务是短路径、常规、确定性的 UI 操作,Flash 模式更合适,因为它约 3–5 秒/步,执行成本较低;
  • 如果任务包含长流程、多阶段目标、持续监控或需要明确验证,Pro 模式更合适,因为它引入 Planner、Operator、Checker 的多智能体图,但速度约 15–40 秒/步;
  • 两种模式并不是互相替代,而是根据任务复杂度和可靠性要求进行选择;
  • ARTEMIS 面向真实 Android 设备操作,不应被理解为只在模拟页面或静态截图上执行的视觉问答系统;
  • ARTEMIS 的定位机制具有回退策略,但并不意味着所有 UI 都能无条件稳定识别;它依然依赖设备状态、界面可访问性、视觉识别质量和任务描述清晰度。

与移动端自动化测试的关系

在 移动端 AI 自动化测试 中,ARTEMIS 试图解决传统测试脚本的脆弱性问题。

传统脚本常以元素 ID、固定坐标或特定 UI 层级为基础,应用界面变化后容易失效。ARTEMIS 则通过自然语言任务、设备观察、多模态定位和执行模式选择,使测试流程更接近人类操作手机的方式。

不过,ARTEMIS 并不等于完全取代传统自动化测试框架。更合理的理解是:它可以用于更动态、更自然语言化、更接近端到端用户路径的自动化任务,尤其适合传统脚本维护成本较高的场景。

相关条目