WeVisOne-VL

论文基本信息

• 题目：WeVisOne-VL: Unified Visual Perception from Objects to Pixels
• 中文释义：WeVisOne-VL：从对象到像素的统一视觉感知
• 作者：Tianming Liang、Junyi Pan、Yuxi Li、Canmiao Fu、Zhipeng Huang、Chong Sun、Chen Li、Jing Lyu
• 机构：腾讯微信视觉团队（WeChat Vision, Tencent Inc.）
• arXiv：2610.31329v1，2026 年 10 月 22 日提交，类别 cs.CV
• Daily Papers：Hugging Face 页面 2026 年 10 月 23 日榜首
• 模型：基于 Qwen3-VL 的 2B 与 4B 两个规模，另接约 9.6M 参数的轻量像素解码器
• 任务范围：目标检测、指代表达定位、计数、指点、OCR、指代分割、可提示图像抠图
• 开源状态：论文、2B/4B 权重、推理代码与评测代码已公开；仓库将微调代码列为待办事项
• 链接：Hugging Face 详情页；arXiv 摘要页；arXiv HTML 全文；arXiv PDF；项目主页；GitHub；Hugging Face 模型集合

一句话结论

WeVisOne-VL 的关键价值，是让语言模型先用统一的结构化 token 决定“是什么、在哪里、有没有”，再让极小的像素解码器把被选中的实例还原为 mask 或连续 alpha matte；它在作者覆盖的多数对象级与像素级基准上取得强结果，尤其改善密集检测、缺席目标拒绝、精确计数和文本提示抠图，但论文尚不能证明这种统一性没有牺牲通用视觉语言能力，也没有充分回答数据可复现性、端到端速度、训练成本和真实模糊指令下的可靠性。

背景与动机

视觉模型的能力仍被不同输出接口切割

传统视觉系统通常按任务拆分：检测器输出 box，pointing 模型输出坐标，OCR 系统输出文字与位置，分割模型输出二值 mask，抠图模型输出每个像素的连续透明度。开放词汇检测、SAM 系列和视觉语言模型虽然扩大了概念覆盖与语言交互能力，却仍存在三类断层：

1. 通用 VLM 擅长回答“图里有什么”，但在小目标、密集实例和高精度坐标上常常漏检或框不准；
2. 专用检测或分割模型空间精度高，却难以理解包含属性、关系、动作或常识的自由语言指令；
3. box、mask 与 alpha matte 往往由彼此独立的流水线产生，语言所指的实例可能在组件之间发生错配。

更严重的问题是“目标不存在”时的行为。许多模型倾向于仍然给出一个框或 mask，把语言先验强行投射到图像上。对于工业检测、机器人抓取、自动驾驶或内容编辑，这类假阳性往往比一次漏检更危险。

WeVisOne-VL 因而没有把目标设成“再造一个更大的视觉模型”，而是尝试建立一个统一接口：自然语言负责表达任务和目标；自回归 token 负责类别、文字、点和 box；特殊实例 token 负责把语言层的目标身份传给像素层；目标不存在时则明确输出 None。

统一不只是模型结构问题，也是数据问题

如果检测、指代、分割和抠图分别来自互不相干的数据集，同一个实例在各任务中的语义、box、mask 与 alpha 仍可能对不上。论文把数据引擎放在模型之前，说明作者认为真正的瓶颈不仅是解码器，而是如何构造跨粒度、实例对齐的监督。

这也是 WeVisOne-VL 与“VLM 外接 SAM”的主要差异：后者通常在推理时把语言定位与像素分割串起来，前者试图从数据构建、token 表达、实例隐状态到像素解码全程维持同一目标绑定。

核心贡献

1. 用结构化 next-token prediction 统一对象级任务

模型扩展词表，用 1,001 个专用 token <0> 到 <1000> 表示归一化坐标。一个点只需两个坐标 token，一个 box 需要四个。检测、指代表达定位、pointing、OCR 和计数都能转成同一种自回归结构；若查询对象不存在，坐标字段直接返回 None。

这种表示比逐字符生成浮点坐标更紧凑，也让几何位置成为可由语言模型直接优化的离散动作。不过它仍然是量化坐标，理论空间分辨率由 1,001 档决定；最终精度还受视觉 token 分辨率和自回归预测误差影响。

2. 用 <OBJ> token 把对象定位桥接到像素输出

对于分割或抠图，模型在每个 box 后生成一个 <OBJ>。该 token 的隐藏状态承载实例语义，预测 box 提供空间先验，Qwen3-VL 视觉编码器的多层特征提供图像细节。三者共同输入约 9.6M 参数的像素解码器，得到对应实例的二值 mask 或连续 alpha matte。

这套设计不需要另接一个完整 SAM 主干。多个目标各自对应一个 <OBJ> 查询，因此语言层选择了哪个实例、像素层就为哪个实例出图，减少两段式流水线的身份错配。

3. 构建跨 box、mask 与 alpha 的统一数据引擎

WeVisOne-VL Data Engine（WDE）以类别和组合式指代表达的知识图谱驱动数据获取，再结合多个定位专家、VLM 语义核验、SAM2 mask 和专用 matting 标注器，逐步生成保持实例对应关系的监督。论文称总标注库存覆盖超过 1 亿张图像、约 36 亿个 box。

数据闭环还会分析当前模型的漏检、指代混淆、假阳性和空间标注错误，把经人工复核的失败案例送回数据获取、困难样本构造或标注修正环节。作者强调，模型与标注不一致只会触发调查，不会自动把模型预测改成“真值”。

4. 以课程式 SFT 和混合任务 RL 分阶段优化

训练先让模型学会统一格式，再增加分辨率和密集实例，随后连接像素解码器；最后使用不确定性筛选后的 178K 混合任务样本进行 GRPO。RL 奖励对完整预测集合做匈牙利匹配，同时惩罚漏检与重复框，而不是只优化单个 token 的似然。

5. 在对象级和像素级任务上做广覆盖验证

论文在 30 余个基准上覆盖七类任务。4B 模型在密集检测、指代拒绝、计数、pointing、OCR、指代分割和提示式抠图上普遍优于所比较的同量级通用 VLM、grounding VLM 或相应专用系统，展示了统一接口并非仅靠平均多个任务维持“能用”，而是在若干困难子问题上取得明显增益。

方法拆解

数据引擎：先保证目标身份一致

WDE 的处理链可以概括为六步：

1. 概念发现：Tokenize Anything 发现检测类别，Qwen3-VL 生成包含属性、状态、动作和关系的指代表达；Wikipedia、WordNet 等资源帮助组织别名、类别层级和整体—部件关系。
2. 定向获取：根据概念覆盖、图像域、目标尺度、遮挡、密集程度和历史错误确定采样优先级。
3. 候选定位：检测任务并行使用 SAM3 与内部开放词汇检测器；指代任务再引入 Rex-Omni，形成互补候选池。
4. 语义核验：Qwen3-VL 检查候选区域是否真正满足完整查询，区分目标与只用于描述上下文的对象。
5. 像素扩展：SAM2 为已确认实例生成可见区域 mask；matting 流水线再从 BiRefNet、MatAnyone2 与二值 mask 中筛选初始 alpha，并训练专用标注器重新标注语料。
6. 错误反馈：按概念、场景域、尺度、遮挡、任务和失败类型聚类模型错误，人工区分预测错误与标注错误，再决定补数据、提高采样权重或重做标注。

困难负样本的构造尤其值得注意。把“红车”改成“蓝车”不能直接认定为负样本，因为图中可能恰好存在蓝车；候选查询必须对整张图复核，只有全部条件都无人满足时才标成空目标集。当前模型仍错误预测区域的已复核负样本，才被视为 hard negative。

统一 token 接口：语言层先决定对象

对象级输出采用可解析标签与坐标。以指代分割为例，响应可以抽象为：

<ref>目标描述</ref><box><x0><y0><x1><y1><OBJ></box>

box 或 point 坐标都归一化到 0–1000。OCR 则把转写文本作为类别标签，同时输出对应区域；计数可以由预测实例数得到。统一格式的优点是同一生成模型能处理多种空间任务，且可以对完整结构做集合级奖励。

但“统一输出”不等于所有任务完全同构。mask 与 alpha 仍要经过额外像素分支，计数的精度又依赖检测召回与去重，OCR 还要同时满足文本完全匹配和空间 IoU。共享协议主要统一交互方式和实例表示，而不是消除任务本身的目标差异。

轻量像素解码器：从实例 token 恢复全分辨率结果

像素解码器由三部分组成：

1. Visual Feature Adapter：从 Qwen3-VL ViT 合并前的四层特征取多尺度表示，经投影、深度可分离卷积和前馈块构成共享视觉记忆。
2. Box-guided Query Decoder：把 <OBJ> 隐状态投影为内容查询，把 Fourier 编码后的 box 作为位置查询，通过六个 deformable attention 块聚合对应区域特征；多个实例还可在 self-attention 中相互建模。
3. Instance-Conditioned Dense Head：实例查询生成动态卷积核，在融合像素特征上产生初始 mask；再以三段 coarse-to-fine 模块逐步加入 RGB、像素特征和上一步预测，恢复细发丝、毛发与半透明边界。

分割与抠图共享主体结构，抠图额外使用轻量细化模块。完整解码器约 9.6M 参数，mask 训练输出为 512×512，抠图微调输出为 1024×1024。

三阶段监督微调

像素 warm-up 使用 20 × focal loss + Dice loss，SFT-S3 使用 NTP 与十倍分割损失联合训练；matting 则组合 L1、gradient、Laplacian 和困难前景/背景像素损失。SFT 使用 128 张 GPU，RL 使用 160 张 GPU，说明“轻量解码器”并不意味着整体训练成本轻量。

混合任务强化学习

作者先让 SFT 模型对候选样本多次采样，再以平均奖励和奖励标准差计算不确定性分数，优先选择有时成功、有时失败的中等难度样本。这类样本能为 GRPO 提供更强的组内相对优势信号。最终 178K 样本中，检测与密集检测合计占 64.8%，指代定位占 17.5%，OCR、指代分割和 pointing 所占比例较小。

每个提示由当前策略采样 8 个完整响应。奖励先在同类别内对预测框与真值框做一对一匈牙利匹配，再计算：

reward = 2 × Σ IoU³ / (真值框数量 + 预测框数量)

分母会惩罚漏检和重复预测，IoU 三次方则放大高精度定位的收益。负样本只有在模型不输出任何对象时得 1。

一个关键边界是：分割和抠图的 RL 也只使用 box 奖励，并不直接评价 mask 或 alpha。RL 因而主要改善定位、重复与幻觉问题；像素边界质量依赖 SFT-S3 和 matting 微调，而不是端到端的像素级强化学习。

实验设计与主要结果

评测设置

推理采用 greedy decoding、temperature 0，每张图最多 1,960 个视觉 token。主要基线包括 Qwen3-VL 2B/4B/8B、Qwen3.5 4B/9B、Rex-Omni 3B、LocateAnything 3B，以及各像素任务的专用模型。

不同任务使用不同指标：检测与 OCR 报告 IoU 0.5–0.95 的平均 F1；计数使用 exact-match accuracy；pointing 用落在真值区域内的一对一匹配 F1；指代分割主要用 cIoU 或 gIoU；抠图用 MAD、MSE、Grad、Conn 与 SAD，均为越低越好。

代表性量化结果

4B 并非在所有细项都优于 2B。例如 P3M-500-NP 的 MAD 是 2B 的 6.6 优于 4B 的 7.3，PPM-100 也是 2B 的 5.3 优于 4B 的 6.1。这说明模型规模不是像素质量的单调决定因素，数据混合、目标选择和解码器训练同样重要。

如何正确理解“领先 30+ 基准”

结果支持的强结论是：在作者选择的任务、基线与推理协议下，WeVisOne-VL-4B 能以相对小的主干统一多种粒度，并在密集目标、负查询、计数及文本驱动像素输出上表现突出。

但它不等价于“4B 统一模型全面优于所有专用视觉系统”。例如检测表主要比较一个 GroundingDINO-T 专用检测器和数个 VLM；OCR 表中的 PP-OCRv5 只是一个代表性专用基线；分割与抠图也只覆盖论文选定的模型和协议。不同系统是否经过同等程度的任务微调、输入分辨率是否相当、吞吐是否相同，并没有形成一个完全控制变量的比较。

此外，COCO 与 LVIS 被明确标为 zero-shot，但训练表列出的多个数据源与这些基准处于相近数据生态；论文声称正式基准与训练和反馈闭环隔离，却没有公开到足以让第三方完整审计所有亿级数据的去重清单。因此，成绩可信地展示了工程系统的有效性，但泛化归因仍需独立复现。

关键洞察

“拒绝回答”是视觉可靠性的第一等能力

WeVisOne-VL 最有产品意义的结果未必是某个平均 F1，而是 absent-target rejection。传统模型通常只问“框得准不准”，默认目标必然存在；真实系统却必须先判断查询前提是否成立。将 None 变成合法、受监督、可奖励的输出，使模型具备显式拒绝路径。

这对机器人尤为关键。若用户说“拿起桌上的红色药瓶”而目标不存在，返回 None 可以触发澄清；随便框一个相似物体则可能直接造成物理风险。相同原则也适用于质检、医疗图像辅助、内容审核和界面自动化。

统一的真正收益是减少级联错配

“Qwen 定位 + SAM 分割”式流水线有两个误差源：语言模型可能选错实例，分割模型也可能依据粗 box 扩散到邻近对象。WeVisOne-VL 让 <OBJ> 隐状态保留语言语义，同时用 box 约束空间范围，并复用主干多层视觉特征。WeRefMat 上的优势说明，这种实例级耦合可能比单纯更换更强的外部分割器更重要。

小解码器不等于小系统

9.6M 参数像素解码器确实比外挂完整 SAM 更轻，但系统主体仍是 2B/4B VLM，训练涉及约 100M 图像、数十亿 box、数亿分割/抠图样本以及 128–160 张 GPU。论文没有报告首 token 延迟、完整响应时延、显存、每秒处理图像数或与专用模型的能耗对比。

因此“轻量”只能准确修饰像素解码器本身，不能直接扩展为整个训练或推理方案都轻量。

应用影响

机器人与具身智能

统一的点、box、mask 与 None 可以为抓取、导航和人机协作提供更稳定的感知接口。上层 agent 能先用自然语言指定目标，再按操作精度选择点、区域或 alpha matte。缺席目标拒绝也能成为动作前的安全门。

不过当前模型是单图、单轮预测，尚未解决视频中的目标恒存、时序跟踪、动作反馈和多轮纠错。把它作为 agent 的一个感知工具是合理方向，把它直接称为完整具身感知系统则过早。

内容创作与图像编辑

连续 alpha matte 比二值 mask 更适合换背景、合成、商品图制作、头像编辑和发丝级抠图。用户可以直接说“穿黑衣的两个人”或“印有 Daikin 的气球”，减少手动画框；同一模型先选对象再输出 alpha，也能降低语言目标与抠图对象不一致的问题。

工业检测与文档理解

密集小目标召回、开放词汇查询和 OCR grounding 可支持货架盘点、零部件计数、票据字段定位与视觉质检。工程部署仍应按领域重新校准阈值并保留人工复核，因为论文输出没有置信度校准，F1 也不能替代具体业务中的漏检成本与误报成本。

训练数据生产

论文展示了带 box 的细粒度 caption，可用于构造“短语—区域”对齐的多模态训练数据。WDE 本身也提供一种数据飞轮范式：知识图谱发现概念空洞，多专家提案，VLM 核验，人工只复核高价值争议与错误簇，再用模型失败驱动下一轮采样。

局限与批判性分析

论文明确承认的三项边界

作者列出三项直接限制：面向感知的训练数据可能削弱相对基础模型的通用能力；为效率而不使用显式 CoT，可能限制复杂推理；当前只支持单轮预测。论文还指出，基准提示通常清晰规范，真实用户却可能表达模糊、犹豫或依赖上下文，因此实际系统需要更强的意图推理。

这些不是边缘问题。一个统一视觉模型如果在定位基准上提升，却降低一般问答、图表推理或多图理解能力，就不能仅凭任务表格证明整体升级。论文没有给出与原始 Qwen3-VL 的通用多模态能力回归表，因而“统一而不退化”仍未被验证。

数据规模巨大，但透明度不足以完整复现

论文详细列出数据源、阶段样本量和标注流程，也说明正式基准保持隔离、近重复样本固定在同一分区；这是积极信息。然而 WDE 包含内部检测器、内部 WeRef-Bench/WeRefMat、Qwen3-VL 核验与人工 spot check，36 亿 box 的质量分布、复核比例、语言覆盖和授权边界无法仅凭论文重建。

公开权重可以复现推理结果，却不等于第三方能够复现数据引擎与训练结论。GitHub 当前还把微调代码列为待办，进一步限制了可重复训练。

评测广度强，消融与效率证据偏弱

论文用大量主结果说明“最终系统有效”，但没有提供足够细的消融来分别量化：知识图谱定向获取、多专家核验、hard negative、三阶段课程、不确定性采样、GRPO、<OBJ> box 先验和 coarse-to-fine 分支各自贡献多少。

同样缺少端到端延迟、显存、FLOPs、视觉 token 数变化曲线，以及相同硬件上与专用模型或 VLM+SAM 流水线的速度比较。没有这些数据，就无法判断统一系统的精度收益是否值得在线服务成本。

RL 没有直接优化像素质量

分割和抠图在 GRPO 阶段只拿 box 奖励，不比较 mask IoU 或 alpha 质量。这样做降低了在线奖励计算复杂度，却意味着“混合任务 RL 提升像素输出”的因果链不完整：它可能改善实例选择和 box，边界质量本身仍主要来自监督学习。

未来可考虑将可微近似或离线像素级评估引入奖励，同时防止模型通过扩大或收缩 box 投机。不过像素奖励计算量大、不同 alpha 指标可能互相冲突，不能简单增加一个 IoU 就解决。

缺席目标拒绝仍不是校准置信度

None 在多个基准上显著提高拒绝率，但论文没有给出不同提示分布、语言噪声与开放世界类别下的风险—覆盖曲线，也没有置信度或选择性预测校准。固定 benchmark 上的 rejection rate 不能直接转化为真实安全阈值。

真正部署时还需区分“确定不存在”“无法看清”“指令有歧义”和“模型不知道这个概念”。当前单一 None 把这些原因压缩成同一种输出，上层系统难以决定应该澄清、换角度、放大图像还是终止动作。

静态图像能力尚未覆盖时序世界

论文任务全部以图像为主，没有评估视频跟踪、跨帧一致性、交互式多轮修正、3D 空间关系或相机运动下的目标保持。即使项目场景提到自动驾驶和具身智能，现有证据更适合支持“语言驱动的静态视觉感知基础模块”，而非完整实时世界模型。

相关工作脉络

1. 开放词汇检测与统一视觉任务：YOLO、DETR 奠定检测范式，Grounding DINO 将开放词汇语义与定位结合；Florence-2 把多类视觉任务转为 prompt-conditioned sequence generation。WeVisOne-VL 延续序列化输出路线，但更强调紧凑坐标 token、负查询拒绝和像素级输出。
2. Grounded VLM：Kosmos-2 用 location token 对齐文本与 box，Molmo/PixMo 强调 point supervision，Rex-Omni 以量化坐标和几何 RL 统一检测、指代、pointing 与 OCR，LocateAnything 则并行解码完整 box 与 point。WeVisOne-VL 在这些对象级接口之上增加 <OBJ> 到像素解码器的桥梁。
3. 语言驱动分割：LISA 将生成的 segmentation token 映射到 mask decoder，GLaMM 交错生成文本与 grounded mask，GSVA 支持多目标和缺席目标拒绝，UniPixel 与 Youtu-VL 探索统一自回归像素理解。WeVisOne-VL 的差异在于同一模型同时覆盖检测、计数、OCR、mask 与 alpha matte。
4. Segment Anything 路线：SAM、SAM2、SAM3 提供强大的可提示分割与概念级感知，但常作为独立大模型或流水线组件。WeVisOne-VL 复用自身 ViT 多层特征，只增加 9.6M 参数解码器，以实例 token 维持语言目标身份。
5. 图像与视频抠图：MODNet、P3M 侧重人像前景，Matte Anything、Matting Anything 和 SAM2-Matting 用分割提示辅助 alpha，MatAnyone 系列将抠图扩展到视频。WeVisOne-VL 的增量是支持 box、类别和组合式指代表达指定多对象场景中的目标，而不是首次解决 alpha matting。

最终判断

WeVisOne-VL 是一项数据、表示、结构和训练流程共同推进的系统工程。最简洁的技术概括是：用结构化 token 完成开放词汇实例选择，用 <OBJ> 保存实例语义，用 box 提供几何先验，用共享 ViT 特征和小型解码器恢复像素。这个分工既保留 VLM 的语言灵活性，也避免为 mask 与 alpha 再挂一个完整视觉基础模型。

论文最有说服力的证据集中在三处：Dense200 mean F1 从最强所列对照的 58.7 提高到 71.3；WeRef-Bench 缺席目标拒绝率达到 96.4%；WeRefMat 指代表达抠图 MAD 从所列两段式基线的 22.4 降到 9.8。它们分别对应密集实例召回、可靠“不存在”判断和跨组件目标绑定，恰好验证了论文最核心的设计动机。

同时，读者应避免把“统一”解读成“全面替代”。通用能力是否退化、真实模糊语言下是否可靠、训练数据能否复现、与强专用系统相比是否更快、视频与多轮场景是否成立，仍缺乏证据。当前最准确的定位是：WeVisOne-VL 为静态图像中的语言驱动统一感知提供了一套强而实用的开源基线，也给出了值得复用的接口原则——先显式判断目标是否存在，再绑定实例身份，最后按应用需要输出点、框、mask 或 alpha。

参考资料

• Hugging Face Daily Papers：WeVisOne-VL
• arXiv：WeVisOne-VL: Unified Visual Perception from Objects to Pixels
• arXiv HTML 全文
• WeVisOne-VL 项目主页
• Tencent/WeVisOne-VL GitHub 仓库
• WeVisOne-VL Hugging Face 模型集合