W
AI-Wiki
CONCEPT

移动端 AI 自动化测试

定义

移动端 AI 自动化测试,是指让 AI 助手或测试套件理解自然语言任务,并把任务转化为对移动设备界面的实际操作、状态观察和结果验证的一类自动化测试方式。

它的重点不是“只生成一段测试代码”,而是把以下能力串联起来:

  • 理解用户用自然语言描述的任务,例如“打开设置,找到电池,并告诉我当前电量”。
  • 观察真实或模拟手机界面,包括截图、UI 层级、无障碍元素、OCR 文本和视觉区域。
  • 根据当前界面状态动态决定下一步动作,而不是完全依赖预先写死的脚本路径。
  • 执行点击、输入、滑动、返回、打开应用、读取状态等 Android 自动化操作。
  • 在长流程中保留历史、复盘步骤,并对结果进行验证或持续监控。

来源文章中的 ARTEMIS 是这一概念的具体案例。它的官方定位是:让 AI assistants and test suites use real phones like a human,即让 AI 助手和测试套件像人一样直接操作真实手机。其核心能力是把自然语言指令转化为可靠的 Android 自动化操作。

在本文档中的语境

在来源文章《谷歌开源移动端 AI 自动化项目 ARTEMIS - 今日头条 摘要》中,移动端 AI 自动化测试被放在传统移动端 UI 自动化的痛点之后讨论。

传统移动端 UI 自动化常用两类方式编写脚本:

  1. 使用元素 ID 定位控件。
  2. 使用固定坐标执行点击、滑动等动作。

这类脚本的优点是执行速度快,尤其适合界面结构稳定、操作路径明确的场景。但它也很脆弱:只要界面布局稍有变化,原本的元素 ID、层级关系或坐标位置就可能失效,导致测试用例大面积失败。随着应用持续迭代,脚本维护成本会一路升高。

另一种方向是使用视觉模型驱动移动端自动化。视觉模型能够根据截图、文本和界面语义进行判断,通常比固定脚本更稳健;但它的推理速度较慢、调用成本较高,很难承担大规模回归测试中大量、重复、低延迟的执行需求。

因此,移动端 AI 自动化测试在本文档中的语境,是介于“快但脆弱的固定脚本”和“稳但慢且贵的纯视觉模型”之间的一种工程折中。ARTEMIS 通过 Flash 与 Pro 两种执行模式,把速度、稳定性、成本和长任务能力分开处理。

与传统移动端 UI 自动化的差异

传统脚本:预先写死操作路径

传统自动化通常先由测试工程师把步骤写成脚本,例如:

  • 找到某个元素 ID。
  • 点击固定按钮。
  • 在输入框中写入文本。
  • 等待页面跳转。
  • 断言某个控件或文本是否出现。

这种方式在稳定页面中效率高,但它假设界面结构基本不变。一旦按钮位置、文案、层级、弹窗逻辑、列表顺序或页面布局发生变化,脚本可能无法继续执行。

AI 自动化:根据界面状态动态操作

移动端 AI 自动化测试则尝试让系统在执行过程中持续观察当前界面,并根据观察结果决定下一步。例如,同样是“打开设置并查看电池电量”,AI 自动化系统不一定依赖固定坐标,而是可以识别“设置”“电池”“电量”等界面线索,再选择点击、滚动或返回。

ARTEMIS 将自然语言指令转化为 Android 自动化操作,体现了从“编写固定脚本”到“AI 根据界面状态动态操作”的变化。这种变化使测试不再完全绑定于某一次录制或某一个 UI 布局,而是更接近人类测试者“看见界面后再决定怎么做”的方式。

关键机制或组成

1. 自然语言任务输入

移动端 AI 自动化测试通常允许用户或测试套件直接输入自然语言任务。来源文章给出的命令行示例是:

uv run artemis run "Open Settings, find Battery and tell me current level" --profile flash

这条任务并没有要求用户指定元素 ID、坐标或完整脚本路径,而是让系统理解目标:打开设置,找到电池,并报告当前电量。

2. 观察—思考—执行循环

AI 自动化系统需要在每一步中观察当前设备状态,推理下一步动作,然后调用自动化能力执行。来源文章把 ARTEMIS 的 Flash 模式描述为“单模型观察-思考-执行反应式循环”,这说明它不是预先生成整条固定脚本后盲目执行,而是在界面变化中逐步反应。

这种循环通常包括:

  • 观察:读取当前截图、UI 元素、文本、设备状态。
  • 思考:判断任务进度、可点击目标和下一步动作。
  • 执行:通过 Android 自动化接口完成点击、输入、滑动等操作。
  • 更新:记录步骤结果,为后续推理提供上下文。

3. 双执行模式

双执行模式是移动端 AI 自动化测试中常见的工程折中:对简单确定性操作追求速度,对复杂长流程任务引入更强的规划和验证。

来源文章中的 ARTEMIS 提供 Flash 与 Pro 两种模式。

Flash 模式

Flash 模式约 3–5 秒/步,采用单模型的观察、思考、执行反应式循环,没有图编排。

它适合常规、确定性的 UI 操作,例如路径较短、界面变化有限、失败后容易恢复的任务。Flash 模式强调较快响应,目标是避免纯视觉或复杂多智能体流程在每一步都带来高延迟。

Pro 模式

Pro 模式约 15–40 秒/步,采用多智能体图,包含:

  • Planner:制定任务计划。
  • Operator:执行具体操作。
  • Checker:验证执行结果。

Pro 模式面向长流程、多步骤、需要验证的任务。来源文章提到它能处理 100 多步的长流程任务,并支持持续监控。它牺牲每一步速度,换取更强的规划能力、任务分解能力和结果校验能力。

4. 历史管理与上下文压缩

长流程移动端任务不能只依赖当前截图。任务一旦达到几十步甚至 100 多步,系统需要知道已经做过什么、哪些目标已经完成、哪些状态仍需检查。

来源文章提到 ARTEMIS 的 Flash 和 Pro 模式共用一套历史压缩机制:

  • 用视觉摘要替代旧截图,避免把大量历史截图全部保留在上下文中。
  • 将已经完成的步骤压缩为可检索的历史片段,供后续推理查询。

这类机制的目的,是在长任务中控制上下文规模,同时保留关键状态信息。它解决的问题不是单步点击,而是“AI 如何在长流程中不忘记前面做过什么”。

5. 多模态 UI 元素定位

移动端 AI 自动化测试需要把“要点击的目标”映射到真实屏幕上的可执行位置。来源文章强调,ARTEMIS 不是单纯依靠 OCR 和 UI 树定位元素,而是采用多模态容错定位策略:

  1. 优先使用无障碍服务的元素索引。
  2. 如果找不到,再回退到坐标定位。
  3. 必要时使用视觉定位。

这种 多模态 UI 元素定位 策略比单一定位方式更稳健。无障碍元素索引速度快、结构化程度高;坐标定位可以处理部分结构化信息缺失的情况;视觉定位则用于处理无法通过 UI 树或 OCR 准确识别的界面区域。

6. 与 AI IDE 或 Agent 的集成

来源文章还提到 ARTEMIS 支持 MCP 原生集成,使 Claude Code、Codex 等工具能够获得操作真实 Android 设备的能力。

文章给出的安装示例包括:

uv run artemis mcp --install antigravity
uv run artemis mcp --install all

这说明移动端 AI 自动化测试不仅可以作为独立测试工具存在,也可以成为 AI IDE、编码助手或 AI Agent Skill 式能力的一部分:开发者在 Agent 中描述任务,Agent 再调用移动端自动化能力完成实际设备操作。

ARTEMIS 案例中的运行方式

来源文章给出了 ARTEMIS 的快速入门方式。

在 macOS 与 Linux 上:

git clone https://github.com/google/artemis.git && cd artemis
./start.sh

在 Windows PowerShell 上:

git clone https://github.com/google/artemis.git
cd artemis
.\start.bat

启动后,系统会在默认浏览器中打开 Web 控制台:

http://localhost:8000

该控制台提供设备连接向导、实时投屏、任务演练与状态回放面板。也就是说,移动端 AI 自动化测试并不只是后台执行命令,还需要给测试者提供观察设备、连接设备、查看任务过程和回放状态的交互界面。

细节与边界

不是简单的测试代码生成

移动端 AI 自动化测试容易被误解为“让大模型生成 Appium、UIAutomator 或其他测试框架代码”。但在本文档语境中,它的核心不是代码生成,而是让 AI 助手或测试套件直接理解任务并操作手机界面。

代码生成可以是辅助能力,但不是完整定义。完整系统还需要实时观察、动作执行、状态更新、错误恢复和结果验证。

不是完全替代传统自动化脚本

传统元素 ID 或坐标脚本依然有价值,尤其在高频、稳定、成本敏感的回归测试中。移动端 AI 自动化测试的意义在于补足传统脚本难以适应界面变化、跨应用流程和自然语言任务的部分。

因此,它更适合与传统自动化体系共存:稳定路径可以继续使用固定脚本,变化较多或探索性较强的路径可以使用 AI 自动化。

不是纯视觉模型方案

来源文章明确指出,视觉模型驱动的移动端自动化通常更稳,但速度慢、成本高,很难承担大规模回归测试。ARTEMIS 的定位不是把所有问题都交给视觉模型,而是优先使用无障碍服务元素索引,并在必要时回退到坐标定位和视觉定位。

这体现了工程上的边界:视觉理解很重要,但在移动端测试中,速度、成本和可靠性同样重要。

长流程任务需要历史管理

当任务超过几十步,AI 不能只依赖当前屏幕进行推理。来源文章提到 ARTEMIS 通过视觉摘要替代旧截图,并把完成步骤压缩为可检索历史片段。这是支持 100 多步长流程任务和持续监控的关键条件之一。

如果没有历史压缩和检索机制,系统可能面临上下文过长、重复操作、遗漏已完成步骤或无法解释任务进度的问题。

双模式体现速度与可靠性的取舍

Flash 模式约 3–5 秒/步,适合常规确定性 UI 操作;Pro 模式约 15–40 秒/步,适合长流程、多步骤、需要验证的任务。二者不是简单的高低配关系,而是面向不同测试需求的执行策略。

如果任务短、路径清晰、风险低,Flash 更合适;如果任务长、需要计划、执行后还要检查结果,Pro 更合适。

典型适用场景

  • 移动应用回归测试中,对部分 UI 变化较频繁的路径进行更稳健的自动化。
  • 用自然语言描述跨页面、跨设置项或跨应用的操作任务。
  • 在真实 Android 设备上执行端到端流程,而不是只在代码层或接口层测试。
  • 对长流程移动端任务进行分步执行、状态记录和结果验证。
  • 让 Claude Code、Codex 等 AI 工具通过 MCP 获得移动设备操作能力。

风险与限制

  • 每一步都进行 AI 推理会带来延迟,尤其是 Pro 模式,来源文章给出的速度约为 15–40 秒/步。
  • 纯视觉方案成本较高,因此需要结合无障碍元素、坐标和视觉定位进行折中。
  • 如果应用界面缺少可访问性信息,系统可能更多依赖坐标和视觉,稳定性与成本会受到影响。
  • 长流程任务必须有历史压缩、检索和验证机制,否则容易出现上下文丢失或步骤重复。
  • AI 自动化结果仍需要校验机制,特别是在涉及支付、隐私、权限、删除数据等高风险操作时。

相关条目