W
AI-Wiki
CONCEPT

多模态 UI 元素定位

定义

多模态 UI 元素定位,是指在移动端自动化、AI Agent 操作设备或 UI 自动化测试中,综合使用多种界面感知信息来确定目标控件的位置与语义的技术方法。

它要解决的核心问题是:把自然语言或测试脚本中的语义任务,例如“点击某个按钮”“打开某项设置”“进入电池页面并读取当前电量”,映射到真实屏幕上的某个可操作界面元素或具体坐标。

这里的“多模态”通常包括但不限于:

  • 无障碍服务提供的控件树、文本、状态、层级、可点击属性和元素索引;
  • UI 树或控件结构中暴露的资源 ID、类名、层级关系;
  • OCR识别出的屏幕文字;
  • 屏幕坐标、控件边界框、点击区域;
  • 截图、图标、布局和其他视觉特征;
  • 大模型或视觉模型对界面语义的理解。

在这个概念中,定位不只是“找到一个像按钮的图形”,也不只是“点击固定坐标”,而是尽量用可解释、可验证、可回退的方式,确定“目标是什么”以及“应该点哪里”。

在本文档中的语境

来源文章以 Google 开源项目 ARTEMIS 为例,说明移动端 AI 自动化为什么需要多模态 UI 元素定位。

文章介绍的 ARTEMIS 官方定位是:让 AI assistants 和 test suites 像人一样使用真实手机,即“Let AI assistants and test suites use real phones like a human.” 它的核心能力是把自然语言指令转化成可靠的 Android 自动化操作。

在该语境下,多模态 UI 元素定位是 ARTEMIS 提高可靠性的关键机制之一。文章明确指出,ARTEMIS 不是单纯依靠 OCR 和 UI 树来定位元素,而是采用“多模态容错定位”:

  • 优先使用 Android 无障碍服务提供的元素索引定位界面元素;
  • 如果无障碍元素索引找不到目标,再回退到坐标定位和视觉定位;
  • 通过多层路径避免一种定位方式失效时整个任务立即失败。

因此,本文中的“多模态 UI 元素定位”不是泛泛指“用视觉模型看屏幕”,而是指在移动端真实设备操作中,把无障碍索引、结构化界面信息、坐标和视觉识别组合起来的容错定位策略。

为什么需要多模态定位

移动端自动化经常面对一个看似简单但实际很难稳定解决的问题:语义任务必须落到具体屏幕元素上。

例如:

  • 用户或测试任务说“打开设置”;
  • Agent 需要知道当前屏幕上哪个图标、按钮或列表项代表“设置”;
  • 如果要继续“找到 Battery 并告诉我当前电量”,系统还必须持续识别设置页中的列表项、页面跳转结果和电量文本。

如果只依赖单一定位方式,会产生明显边界。

只依赖元素 ID 或固定坐标的问题

传统移动端自动化脚本常用元素 ID、控件路径或固定坐标。它们执行速度快,但容易脆弱:

  • 界面布局稍微变化,原坐标可能点到错误区域;
  • 控件结构调整后,原来的层级路径可能失效;
  • 应用版本更新、系统设置页改版、字体或语言变化,都可能导致测试用例大面积失效;
  • 脚本维护成本会随着应用迭代上升。

例如,一个按钮原本在屏幕右下角,自动化脚本固定点击该坐标。如果新版本把按钮移动到中间,固定坐标点击就会失败,甚至触发错误操作。

只依赖视觉模型的问题

另一种思路是让视觉模型观察截图并判断要点哪里。这种方式对布局变化更有弹性,但也有成本和延迟问题:

  • 每一步都调用视觉模型会增加推理时间;
  • 大规模回归测试中,成本可能偏高;
  • 网络、模型响应时间和截图处理都会影响执行速度;
  • 对于简单确定性的 UI 操作,纯视觉方案可能过度复杂。

来源文章概括了这种矛盾:元素 ID 或坐标方式“快但脆弱”,视觉模型方式“稳但速度慢、成本高”。多模态 UI 元素定位的价值,就是不在二者之间做单选,而是把不同方法按优先级和失败回退机制组合起来。

关键机制与组成

1. 语义任务到界面目标的映射

移动端自动化首先面对的是语义层任务,例如:

  • “点击登录按钮”;
  • “打开设置”;
  • “找到 Battery”;
  • “告诉我当前电量”。

这些指令本身不是坐标。系统需要把它们转成可执行动作,包括:

  • 当前屏幕中是否存在目标文本或图标;
  • 目标是否可点击、可滚动或需要进入下一层页面;
  • 如果有多个相似目标,哪个才符合上下文;
  • 执行点击、滑动、输入或读取信息时使用哪个元素边界或坐标。

多模态定位把这些判断建立在多个信息源之上,而不是只看一个字段。

2. 优先使用无障碍服务的元素索引

在来源文章描述的 ARTEMIS 策略中,首选定位方式是 Android 无障碍服务提供的元素索引。

这种方式的优点是:

  • 比纯坐标点击更可解释:系统可以知道自己点击的是哪个控件、控件文本是什么、是否可点击;
  • 比固定坐标更稳定:即使元素位置略有变化,只要无障碍树中仍能识别到目标,定位仍可能成功;
  • 适合自动化执行和回放:元素索引、控件属性、层级关系可以作为任务历史和验证依据;
  • 适合真实 Android 设备操作:无障碍服务本来就用于向外暴露界面结构和可操作节点。

因此,ARTEMIS 并不是一上来就“看图猜坐标”,而是先利用系统层提供的结构化信息定位目标界面元素。

3. UI 树与 OCR 的辅助作用

UI 树和 OCR 在多模态定位中仍然重要,但它们不是唯一依据。

UI 树可以提供控件层级、资源标识、文本、可点击状态等结构化信息。OCR 可以在界面元素没有被无障碍服务完整暴露时,从截图中识别可见文字。

但来源文章强调,ARTEMIS 不是单纯依靠 OCR 和 UI 树。原因在于:

  • 有些控件不一定有稳定的资源 ID;
  • UI 树可能因应用实现方式不同而缺少目标文本;
  • OCR 可能受到字体、图标、截断、语言、遮挡和画质影响;
  • 只靠 UI 树或 OCR 难以覆盖所有真实设备界面情况。

因此,UI 树和 OCR 更适合作为多模态证据的一部分,而不是唯一决策来源。

4. 坐标定位作为回退路径

当无障碍元素索引找不到目标时,ARTEMIS 会回退到坐标定位。

坐标定位适合以下情况:

  • 目标虽然不能被稳定索引,但其视觉位置可以从截图或布局中推断;
  • 某些界面元素没有良好无障碍标签,但点击区域仍然明确;
  • 需要执行底层输入动作,例如点击屏幕某点、滑动某段距离。

不过,坐标定位本身也有边界。不同设备分辨率、屏幕比例、系统缩放、语言长度和界面改版都可能影响坐标。因此,在多模态策略中,坐标通常不应作为唯一来源,而更适合作为结构化定位失败后的补充路径。

5. 视觉定位作为进一步回退

视觉定位利用截图、图标、布局和视觉模型来判断目标位置。它可以处理一些结构化信息缺失的界面,例如:

  • 图标按钮没有文本标签;
  • 自绘控件没有暴露完整无障碍节点;
  • 页面结构变化但视觉语义仍然明显;
  • 目标任务保持不变,但界面排列发生轻微变化。

来源文章把视觉定位放在回退链路中,是为了兼顾稳定性、成本和速度:简单、可结构化识别的任务不必每步都依赖视觉模型;结构化定位失败时,再使用视觉信息提高容错能力。

典型执行流程

一个多模态 UI 元素定位流程可以概括为:

  1. 接收自然语言任务或测试步骤,例如“Open Settings, find Battery and tell me current level”;
  2. 观察当前 Android 设备界面,获取截图、无障碍节点、UI 树、文本和可点击状态;
  3. 优先在无障碍服务提供的元素索引中查找语义目标;
  4. 如果找到匹配元素,则根据元素边界和属性执行点击、读取或输入;
  5. 如果找不到,则尝试通过坐标推断或视觉识别确定目标区域;
  6. 执行动作后继续观察界面,确认页面是否跳转或目标是否完成;
  7. 如果任务较长,则结合历史信息继续下一步定位和执行。

在 ARTEMIS 的整体系统中,这种定位机制服务于其移动端自动化执行能力。来源文章还提到 ARTEMIS 有 Flash 和 Pro 两种执行模式:

  • Flash 模式约 3-5 秒/步,采用单模型“观察-思考-执行”的反应式循环,没有图编排,适合常规确定性 UI 操作;
  • Pro 模式约 15-40 秒/步,采用 Planner、Operator、Checker 组成的多智能体图,能处理 100 多步的长流程任务和持续监控;
  • 两种模式共用历史压缩机制,会把旧截图替换成视觉摘要,把完成的步骤压缩成可检索的历史片段。

多模态 UI 元素定位可以为这些执行模式提供底层动作落点:无论是快速执行单步操作,还是在长流程中持续验证状态,都需要把任务语义落到屏幕元素上。

细节与边界

它不是单一 OCR 定位

多模态 UI 元素定位可以使用 OCR,但不等于 OCR 定位。OCR 主要解决“屏幕上写了什么”,而自动化还需要知道:

  • 文字属于哪个控件;
  • 控件是否可点击;
  • 点击区域在哪里;
  • 当前文本是否只是说明、标题或列表项;
  • 点击后是否能达成任务目标。

来源文章特别指出,ARTEMIS 不是单纯靠 OCR 和 UI 树定位元素。

它不是固定坐标脚本

多模态定位可以回退到坐标,但目标不是把任务写死成固定坐标。固定坐标在界面不变时很快,但在布局、控件结构或版本变化后很容易失效。

多模态方法会尽量先理解元素语义和结构,再在必要时使用坐标执行低层操作。

它不必每一步都调用视觉大模型

只依赖视觉模型可能更灵活,但成本和延迟偏高。来源文章中 ARTEMIS 的策略体现了分层思想:

  • 能用无障碍元素索引解决时,优先用更稳定、更可解释的结构化路径;
  • 找不到目标时,再回退到坐标定位和视觉定位;
  • 通过这种方式在速度、成本和鲁棒性之间折中。

它仍受底层信息质量影响

多模态定位提高了容错性,但不代表永远可靠。它仍可能受到以下因素影响:

  • 应用没有提供良好的无障碍标签;
  • 自绘 UI 或游戏界面缺少标准控件结构;
  • OCR 识别错误或文字被遮挡;
  • 视觉模型误判图标或页面语义;
  • 弹窗、权限提示、网络加载状态打断流程;
  • 不同品牌 Android 系统设置页差异较大。

因此,多模态定位通常还需要状态验证、失败重试、历史记录和任务级规划配合。

适用场景

多模态 UI 元素定位特别适用于界面可能有轻微变化、但任务目标保持不变的操作场景。

典型场景包括:

  • 移动端 AI 自动化测试:减少因 UI 布局或版本变化导致的大量脚本失效;
  • 真实设备操作:让自动化系统直接连接并操作 Android 手机,而不是只在模拟环境中运行;
  • AI Agent 控制手机:把自然语言任务分解为打开应用、点击按钮、读取内容、输入文本等动作;
  • 长流程任务执行:在多个页面之间跳转,并持续确认目标是否完成;
  • 回归测试:在速度、稳定性和成本之间取得折中,避免纯视觉方案带来的高延迟和高成本。

在来源文章中,ARTEMIS 还支持 MCP 原生集成,使 Claude Code、Codex 等 AI IDE 或 Agent 能获得操作真实 Android 设备的能力。多模态 UI 元素定位则是这类能力落地时的基础环节之一。

与 ARTEMIS 的关系

ARTEMIS 是来源文章介绍的 Google 开源移动端 AI 自动化项目,项目地址为 https://github.com/google/artemis。文章称其获得 8.9K Star,并强调它面向 AI 助手和测试套件操作真实手机。

多模态 UI 元素定位不是 ARTEMIS 的全部能力,而是其“多模态容错定位”部分所体现的概念。它与 ARTEMIS 的关系可以理解为:

  • ARTEMIS 是具体系统或项目;
  • 多模态 UI 元素定位是其中用于寻找可操作目标的技术策略;
  • Flash、Pro、MCP 集成、历史压缩等是 ARTEMIS 的其他系统能力;
  • 定位机制为执行点击、滑动、读取和验证等动作提供依据。

相关条目