硅基写手 2026/10/22

FocusGUI

FocusGUI 不裁剪多模态上下文，而是按交互步骤动态重排屏幕、音频、视频、历史与设备状态的优先级，再用零初始化残差引导冻结解码器；本文解析顺序干扰假说、轻量适配器设计、四主干实验及其真实部署边界。

#论文解读#Hugging Face#GUI Agent

论文基本信息

题目：Focused Omni-Modal GUI Agents
作者：Fuyao Zhang、Wenwen He、Jiaming Zhang、Yurong Hao、Xuan Wang、Guowei Guan、Che Wang、Longtao Huang、Wei Yang Bryan Lim
机构：Nanyang Technological University、Alibaba Group
arXiv：2610.26203v1，2026 年 10 月 19 日提交；类别 cs.CV；全文 24 页
Daily Papers：Hugging Face 页面 2026 年 10 月 21 日榜首
研究对象：接收屏幕、视频、音频、交互历史和设备状态的多步手机 GUI Agent
核心方法：FocusGUI，一个只训练 1.15M–1.45M 参数、保持全模态主干与输入不变的步骤自适应残差适配器
链接：Hugging Face 详情页；arXiv 摘要页；arXiv HTML 全文；arXiv PDF 全文；项目主页；代码仓库

一句话结论

FocusGUI 的关键洞察是：全模态 GUI Agent 的问题未必是“看得太多”，而是每一步都要重新判断“此刻该看什么”；与裁剪屏幕或删除上下文相比，保留完整证据、动态估计各通道优先级，再用低维残差信号改变冻结解码器的读取方式，能显著提高动作类型和参数的准确率，尤其能减缓长轨迹中的误差累积。不过，证据目前集中在单一手机基准和离线标注动作上，尚不能证明同等收益会直接迁移到开放桌面、网页或真实在线执行环境。

背景与动机

从静态截图走向流式全模态交互

传统 GUI Agent 大多围绕当前截图组织输入：模型识别界面元素，结合指令生成点击、滑动或输入文本等动作。真实交互却越来越像连续感知任务。提示音可能要求立即切换上下文，视频中的某个瞬间决定何时点击，语音指令还要持续映射到不断变化的屏幕状态。于是新一代 omni-modal 模型开始同时接收截图、视频、音频、历史动作和设备状态。

常见做法是把所有上下文在每一步都交给模型，让解码器自己判断哪些信息重要。论文指出，这一默认范式隐藏了两个事实：相关性会随步骤变化，而且决定动作的证据通常很稀疏。模态移除实验显示，相邻步骤中有 45.3% 会更换主导模态，94.0% 的 episode 至少发生一次切换；90.1% 的步骤至少含有一个会干扰预测的模态。空间上，目标元素中位数只占屏幕面积的 0.87%；时间上，单步视频内容的中位变化也只有 7.41%。

顺序干扰为何比单步噪声更危险

作者把由无关上下文造成、并在闭环中不断放大的错误称为 Sequential Distraction（顺序干扰）。一次误读并不只影响当前预测：错误动作会改变界面，又会进入后续历史，使下一步观察建立在偏离的轨迹上。随着交互变长，早期的小错误会演变为不可逆的 trajectory drift。

直觉上的修复方式是“少给一些”：裁剪截图、搜索候选区域、解析界面结构或放大显著区域。但这会遇到两类冲突。第一，关键证据可能来自音频、视频或设备状态，空间裁剪根本触及不到；第二，即使目标在屏幕上，精确坐标与文本参数仍可能依赖目标周围的布局。裁剪也许帮助模型选对动作类型，却可能丢掉完成动作所需的上下文。

论文由此把问题从“删掉哪些输入”改写为“如何引导解码器读取完整输入”：不改变模型看到的证据，而是改变当前动作生成时各类证据的优先级。

核心贡献

1. 提出步骤级的 Focused Perception

论文把理想的聚焦表征定义为三个条件：随步骤自适应、足以支持动作决策、对原始上下文非侵入。这个定义区分了“代理拥有哪些证据”与“解码器如何读取证据”，也解释了为什么单纯裁剪当前屏幕不足以处理全模态、长轨迹任务。

2. 用极小适配器引导冻结全模态主干

FocusGUI 将不同感知来源投影到共享空间，用当前完整观察形成 decision reference，再计算各通道的步骤特定权重。加权表示被压缩成 64 维 focus latent，并展开为 4 个残差槽，叠加到动作生成边界之前的现有 prompt embedding。主干、decoder 和 LM head 全部冻结，输入既不被删除，也不增加文字提示。

不同主干只需训练 1.15M–1.45M 参数。以 Qwen2.5-Omni 为例，1.445M 个可训练参数只占 8.932B Thinker 参数的 0.0162%。适配器从零残差开始训练，因此初始行为与原模型完全一致，再逐步学习怎样重分配注意力。

3. 仅用动作监督学习模态优先级

训练数据不需要标注“这一刻应该听音频”或“这一步应该看视频”。作者只对下一步可执行动作 token 计算负对数似然，梯度穿过冻结解码器回到 FocusGUI。一个目标同时学习三件事：哪些通道更重要、如何压缩它们、怎样把聚焦信号写入解码器的原生表示空间。

4. 用跨主干、消融与深度分析验证机制

论文在四个结构不同的开源 omni-modal 主干上重复实验，并设置屏幕细化方法、可训练动作头和参数匹配的静态拼接对照。结果不仅表现为平均准确率提升，还呈现出理论预期的深度效应：交互越长，冻结主干衰减越明显，而 FocusGUI 的优势越大。

方法拆解

问题形式化

第 $t$ 步的观察写作：

O_t = \{g, I_t, V_t, A_t, H_t, S_t\},

分别对应用户目标、当前界面、时间视觉观察、音频观察、交互历史与设备状态。冻结主干 $F_{\Theta_0}$ 把它们编码成 decoder embedding $E_t$ 。FocusGUI 从同一观察构造紧凑表征 $z_t$ ，映射为残差 $R_t$ ，只加到动作边界前的 $K$ 个位置：

\widetilde{E}_t = E_t + \mathcal{S}_{J_t}(\gamma R_t), \qquad J_t=\{b_t-K,\ldots,b_t-1\}.

原始多模态路径继续携带像素、坐标、转录文本和历史等全部证据；辅助路径只传递“怎样读”的控制信号。这样，低维 latent 不必重建整个观察，也不必独自承载精确坐标。

步骤自适应的证据组织

方法先把观察暴露为可分离的感知通道 $x_t^{(m)}$ ，通过各自的 projector 映射到 128 维共享空间。完整观察的集成状态形成 decision reference $q_t$ 。每个通道与 $q_t$ 计算兼容度，经 softmax 得到优先级：

s_t^{(m)} = v^\top \tanh\!\left(W_e(e_t^{(m)}+r_m)+W_q q_t\right),

\alpha_t^{(m)} = \frac{\exp(s_t^{(m)}/\tau)}{\sum_j \exp(s_t^{(j)}/\tau)}, \qquad c_t=\sum_m \alpha_t^{(m)}e_t^{(m)}.

其中 $r_m$ 是通道身份 embedding，温度 $\tau=1.0$ 。由于通道表征与全局 reference 每一步都会重算，权重可以从“开始时看设备状态”自然转向“后期听音频、看视频”，而不是在整个 episode 使用固定配比。

紧凑投影与残差对齐

加权结果 $c_t$ 被压缩为 $d_z=64$ 的 $z_t$ ，再扩展成 $K=4$ 个 decoder 维度的 residual slots。投影权重和偏置初始化为零，残差尺度 $\gamma=1.0$ 。残差叠加在动作 JSON 开始前的四个既有位置，不新增 prompt token，也不覆盖原 embedding。

附录的理论分析把作用拆成两条路径：value 路径可以改变动作类别 logits；attention 路径则重新分配对完整证据位置的读取权重，从而修正坐标和输入文本等参数。因为证据位置的内容没有被改写，参数纠正依赖“去正确位置读取”，这也解释了为何 additive residual 比直接替换 embedding 更稳健。

训练和推理设置

数据：OmniGUI 的 29 个手机应用、708 个 episode、2,572 个动作步骤。
划分：495/71/142 条轨迹，对应 1,807/257/508 个训练、验证、测试步骤，episode 之间不重叠。
动作空间：13 种 primitive，包括点击、滑动、文本输入、导航、终止及仅观察的 NONE；坐标归一化到 $[0,1000]$ 。
训练：3 个 epoch，AdamW，学习率 $2\times10^{-4}$ ，weight decay $10^{-3}$ ，只在 action token 上计算 teacher-forced loss。
推理：原 LM head 自回归生成一个结构化动作，greedy decoding、beam size 1。
硬件：全部实验使用两张 NVIDIA L20 GPU；每个主干分别训练适配器，不跨主干共享参数。

实验设计与主要结果

指标与对照

论文报告三个指标：Type Match（TM）只检查动作 primitive；Exact Match（EM）还要求点击坐标落入目标框、生成文本匹配参考；Goal Progress（GP）统计每个 episode 中正确执行步骤的比例。这三个指标分别观察“做什么”“参数是否可执行”和“轨迹能走多远”。

四个冻结主干是 Qwen2.5-Omni、VITA-1.5、MiniCPM-o 4.5 和 Baichuan-Omni-1.5。对照包括三种视觉侧方法 DRS-GUI、OmniParser、RegionFocus，以及在视觉 token 上学习动作头的 GUI-Actor。所有方法使用相同观察、划分、prompt、动作历史和解码配置。

主干	冻结主干 TM / EM / GP	加入 FocusGUI TM / EM / GP
Qwen2.5-Omni	49.61 / 12.60 / 5.50	71.65 / 40.16 / 17.49
VITA-1.5	13.98 / 9.65 / 6.09	58.66 / 26.38 / 6.84
MiniCPM-o 4.5	36.02 / 13.58 / 7.55	67.72 / 41.54 / 16.76
Baichuan-Omni-1.5	24.41 / 8.86 / 4.32	58.86 / 25.98 / 8.73

平均来看，FocusGUI 相比冻结主干增加 33.2 个 TM 点、22.3 个 EM 点和 6.6 个 GP 点；EM 从 11.2% 提升到 33.5%，约为原来的 3 倍。相对每个主干上最强的现有增强方法，平均仍增加 30.1 个 TM 点、23.6 个 EM 点和 8.0 个 GP 点。它在 4 个主干乘以 6 个整体/类别设置的 24 个单元中，都取得最佳 TM 和 EM。

为什么屏幕细化反而会伤害执行

三种 screen refinement 方法平均只让 TM 变化约 +0.9 点，却让 EM 相对下降 28%、GP 相对下降 35%，而且 12 个主干—指标组合中的 EM 和 GP 全部下降。这与论文的机制解释相符：突出区域可能帮助识别“应该点击”，但丢掉周边布局后，模型更难回答“点击哪里”；如果决定信号来自音频或视频，再精细的屏幕处理也无法补回它。

FocusGUI 的类别增益同样具有方向性。Temporal 类 TM 增加 37.3 点，Instant 类增加 27.8 点：前者最依赖跨帧、跨模态的流式证据，后者更多由当前截图直接决定。收益并不是在所有任务上均匀出现，而是集中在方法声称要解决的场景。

长轨迹是否真的更受益

Qwen2.5-Omni 的 TM 从第一步 64.79 降到第四步及以后 32.79，只保留一半；FocusGUI 在同一区间保留 86.8%，EM 还从 38.73 上升到 46.72。两者 EM 差距随深度从 +22.54 单调扩大到 +35.25，90% episode-clustered bootstrap 区间均不包含零。Temporal 任务在第四步以后更极端：冻结主干 EM 为 0，FocusGUI 为 39.39。

Instant 任务提供了一个有价值的负对照：最初两步中，FocusGUI 与主干的差异在统计上不可区分；当历史开始累积，到第三步和第四步以后，TM 优势才扩大到 +28.57 和 +46.67。其他三个主干也呈现冻结性能随深度下降、FocusGUI 相对稳定的趋势。这个结果比单独报告总平均更能支持“抑制误差累积”而非“加了参数所以普遍更强”的解释。

消融实验说明了什么

FocusGUI 包含通道分解（CD）、步骤自适应优先级（SP）、action-sufficient projection（AP）和残差对齐（RA）。在 Qwen2.5-Omni 上移除任一组件都会降低总体性能，而且 GP 的相对损失远大于 TM：单个组件对 TM 的最大相对影响约 7.5%，对 GP 却可达到 33.9%。这说明各组件主要价值是防止轨迹失稳，而不只是改善某一步的动作分类。

移除 CD：TM 从 71.65 降至 66.26，证明先保留通道身份再组织证据优于只用融合表征。
移除 SP：TM 为 67.38、GP 为 11.56，表明通道可见还不够，必须根据当前步骤重排。
移除 AP：TM 变化很小，但 EM 和 GP 均下降，说明低维 action-sufficient bottleneck 主要影响可执行参数与轨迹稳定。
用替换代替 additive residual：EM 从 40.16 降到 34.86、GP 从 17.49 降到 12.11，支持“保留原 embedding”这一设计。

参数匹配对照进一步排除了“只是多了容量”的解释。固定拼接版本有 1,444,913 个参数，动态优先级版本只多 79 个；后者 TM、EM、GP 分别提高 0.98、3.54、3.44 点。153 个原本错误的预测被修正，只有 13 个原本正确的预测发生回退，最大净改善出现在 temporal reasoning。

容量扫描也显示方法并不依赖精细调参。 $K$ 从 1 到 16 时总体 TM、EM、GP 没有单调趋势； $d_z=32$ 明显太窄，而从 64 增到 128 或 256 并未持续获益。默认 $K=4,d_z=64$ 位于稳定区，并在所有主干中保持不变。

学到的优先级是否符合任务变化

FocusGUI 没有接收模态相关性标签，却学出了随 episode 阶段变化的排序。交互开始时，state 通道获得 30.9% 的权重，超过均匀分配的两倍；到结束阶段降到 7.7%。音频和视频则分别从 13.4%、11.3% 上升到 18.8%、18.3%。屏幕通道始终只有 10.9%–12.8%，空间屏幕通道也从未超过 9.1%。

这不是说屏幕在 GUI 操作中不重要，而是提示：冻结主干原始路径已经完整保留屏幕，辅助适配器更有价值的工作可能是补充被 decoder 低估的流式信号。论文也明确提醒， $\alpha_t^{(m)}$ 只解释 FocusGUI 辅助路径如何组织证据，不能被当作冻结主干内部模态使用方式的完整因果解释。

案例进一步展示这种行为。在“听到特定发动机声音后暂停视频”的任务中，屏幕外观长期不变；冻结主干被视觉显著性诱导而提前行动，FocusGUI 则提高音频优先级，等待声音出现后再点击。另一个多步筛选案例要求依次找到小图标、理解弹窗并选择多个条件，FocusGUI 在界面变化中维持空间定位和状态跟踪。

应用影响

对 GUI Agent 架构

这篇论文提供了一条介于“把全部上下文扔给大模型”和“先用外部模块删减输入”之间的路线：保持感知能力完整，通过轻量控制层调节读取方式。它适合关键证据跨模态切换、动作又会改变后续状态的场景，例如手机助手、浏览器代理、视频编辑、会议控制台和带实时音视频的远程操作。

这一设计也适合部署已有强主干的团队。主干无需全量微调，动作词表与原 LM head 不变，适配器参数只占万分之一级别。不同设备或任务可以训练独立 FocusGUI head，而不复制完整模型权重。

对更一般的多模态 Agent

“输入保留、读取重排”的原则不限于 GUI。机器人、驾驶辅助、运维监控或医疗设备 Agent 都可能面对流式多源信号；若关键来源随状态变化，固定拼接和静态权重容易产生同类干扰。紧凑 residual controller 可以作为一种通用的 perception-to-action 接口。

但轻量参数不等于轻量系统。四个主干本身仍是大型 omni-modal 模型，FocusGUI 还需要从各通道提取特征。论文报告了训练硬件和参数量，却没有系统给出端到端延迟、显存增量、流式缓存开销或移动设备吞吐。因此它首先证明的是参数效率和任务效果，不是已经完成边缘部署优化。

局限与批判性分析

单一基准限制了外部有效性

全部结果来自 OmniGUI 的 29 个手机应用。虽然覆盖 localization、semantic、cross-modal、temporal 和 instant 五类任务，但没有桌面 OS、网页、多窗口协作、不同分辨率或真实用户噪声。四个主干共享同一数据分布也不能替代跨环境验证。作者在局限部分同样把扩展到更广泛 computer-use 场景列为下一步。

现有机制只看当前步骤，不会提前准备

FocusGUI 每一步都根据当前观察重新计算通道优先级，不在适配器内部显式保存跨步状态，也不预测下一步可能变重要的证据。它擅长修正此刻的读取，却未必能在事件出现前保留长期线索。作者提出加入 anticipatory signals；更进一步，还需研究这种预测是否会重新引入错误记忆和新的累积偏差。

基准动作准确率不等于真实闭环成功率

TM、EM 与 GP 细分了动作质量，深度分析也支持顺序干扰假说；不过主要实验仍围绕固定数据集、标注动作和结构化匹配展开。真实系统中还会出现弹窗、加载延迟、布局漂移、识别误差、不可逆操作和错误恢复。论文没有报告完整在线任务成功率、恢复策略或安全约束，因此不能从 GP 直接推断生产环境的端到端完成率。

训练仍需每个主干、每个域单独适配

论文为四个 backbone 分别训练 adapter，没有展示跨主干共享、零样本迁移或少样本域适应。1.15M–1.45M 参数很小，但每次换模型都要重新提取对应通道并训练映射；如果企业同时维护多版本主干、多个动作 schema 和多种设备，适配器管理成本仍会累积。

可解释性要谨慎使用

通道权重的阶段变化与案例直观一致，却不是严格的模态因果归因。权重存在于辅助通路，完整观察仍通过原主干流动；一个通道权重低，也可能被主干原路径强烈使用。更强的验证可以加入模态干预、反事实替换、跨任务稳定性和校准分析，而不仅是观察学习到的 softmax 权重。

比较范围尚未覆盖更强训练范式

基线较好地覆盖屏幕细化和冻结主干上的动作头，但没有与全量微调、LoRA/adapter 主干微调、带显式 memory 的 agent、检索式历史压缩或强化学习策略做系统成本—效果比较。当前结论最稳妥的边界是：在冻结 omni-modal backbone、使用相同观察与动作监督的设置里，动态证据组织明显优于这些视觉侧增强和动作头基线。

最终判断

FocusGUI 最有价值的部分不是一个更复杂的 GUI 感知器，而是一种清晰的系统分工：主干负责保存和理解全部证据，适配器负责告诉解码器当前怎样读。论文用模态移除统计提出顺序干扰，用四个主干验证普遍性，用组件与参数匹配消融验证动态优先级，再用交互深度曲线证明收益会随历史累积而扩大，形成了较完整的机制证据链。

它支持的精确结论是：在 OmniGUI 的冻结全模态主干设置中，步骤自适应、非破坏性的证据组织能显著改善动作类型、动作参数和轨迹进度，且只需极少可训练参数。它尚不支持“多模态 GUI Agent 的长程问题已经解决”，也不证明 softmax 通道权重就是模型决策的完整解释。下一步最关键的验证，是把同一机制放入真实闭环、多平台长任务，并同时报告成功率、恢复能力、延迟与资源成本。