WeVisOne-VL

论文基本信息

• 题目：WeVisOne-VL: Unified Visual Perception from Objects to Pixels
• 作者：Tianming Liang、Junyi Pan、Yuxi Li、Canmiao Fu、Zhipeng Huang、Chong Sun、Chen Li、Jing Lyu
• 机构：Tencent Inc. WeChat Vision
• arXiv：2610.31329v1，2026 年 10 月 22 日提交，类别 cs.CV
• Daily Papers：Hugging Face 页面 2026 年 10 月 23 日榜首
• 模型：基于 Qwen3-VL 的 2B 与 4B 两个规模，附加约 960 万参数的像素解码器
• 任务：目标检测、指代表达定位、计数、点定位、OCR、指代分割与可提示图像抠图
• 链接：Hugging Face 详情页；arXiv 摘要页；arXiv HTML 全文；arXiv PDF 全文；项目主页；代码仓库；模型集合

一句话结论

WeVisOne-VL 的关键价值，是用同一套“语言生成坐标、实例 token 驱动像素”的接口打通对象级与像素级感知，并在同量级模型上交出覆盖面很广的强结果；但论文没有消融实验，部分关键评测来自内部基准，强化学习又只奖励框而不奖励掩码或 alpha，因此现有证据更能证明整套系统有效，尚不能精确证明每个组件各自贡献了多少。

背景与动机

通用 VLM 的“看懂”还没有变成可靠感知

大型视觉语言模型已经能识别开放词汇、理解复杂描述并生成自然语言答案，但真实视觉系统需要更严格的能力：不仅要说出“画面里有一只狗”，还要指出是哪一只、框在哪里、是否有多只，并在需要时输出逐像素掩码或连续透明度。工业检测、内容编辑、自动驾驶和具身智能都依赖这种从语义到几何的精确映射。

现有路线通常在三个方向上分裂：检测器擅长密集定位，却不容易覆盖长尾开放概念；通用 VLM 语义强，但会漏掉小目标、在密集场景中召回不足，甚至为不存在的对象“硬画一个框”；分割与抠图模型能输出像素结果，却往往需要额外的 SAM 类骨干、显式框或干净前景提示。多个模型串联不仅增加算力与工程复杂度，也容易在语言指代、框和掩码之间丢失实例对应关系。

WeVisOne-VL 试图把这些任务压进一个接口：对象级结果由语言模型生成结构化 token，像素级结果则复用同一个实例的语言隐藏状态与视觉骨干特征。这样，“用户说的对象”“模型框出的对象”和“像素解码器画出的对象”可以共享同一实例身份。

论文要解决的三个核心矛盾

1. 开放语义与密集召回：VLM 能理解长尾概念，传统检测器更擅长穷举密集实例，训练数据需要结合两者。
2. 离散输出与连续像素：框和点适合 token 化，掩码与 alpha matte 则需要保留空间细节，不能只靠文本序列低效表示。
3. 正样本定位与可靠拒绝：一个可部署系统不仅要找对目标，还要在目标不存在时输出 None，而不是生成貌似合理的错误位置。

核心贡献

1. 用结构化 next-token prediction 统一对象级任务

模型扩展了 1,001 个专用坐标 token，即 <0> 到 <1000>，用归一化坐标表示点和框。点只需两个 token，框只需四个 token；目标不存在时，坐标字段直接写成 None。检测、指代定位、计数、点定位和带位置的 OCR 因而都能被表述成受约束的自回归序列生成。

这不是简单地让模型输出自然语言坐标。专用 token 缩短了序列，也把几何值从普通数字分词中分离出来；统一格式又允许后续用匈牙利匹配和 IoU 奖励直接评估完整输出。

2. 用 <OBJ> token 把语言实例接到像素解码器

对分割或抠图任务，模型在每个预测框后生成一个 <OBJ>。该 token 的隐藏状态携带“这是哪个实例”的语义，预测框提供空间先验，多层 ViT 特征提供图像细节。三者共同输入约 960 万参数的轻量像素解码器，输出二值掩码或连续 alpha matte。

这一设计的意义在于实例绑定。传统 VLM 加分割模型的流水线需要重新把文本、框和掩码对齐；WeVisOne-VL 则让 <OBJ> 成为离散语言输出和稠密像素输出之间的显式桥梁，同时复用 Qwen3-VL 的视觉特征，不再外挂一套大型 SAM 骨干。

3. 建立跨任务、可回流的数据引擎

WeVisOne-VL Data Engine（WDE）以知识图谱组织类别、别名、上下位关系、部件关系和组合式指代表达，再根据概念覆盖、图像域、目标尺度、遮挡、密集程度与历史错误定向采集样本。

标注不是依赖单一教师：SAM3 与内部开放词汇检测器提出检测候选，SAM3 Agent 与 Rex-Omni 提出指代候选，Qwen3-VL 验证候选是否真的满足类别、属性、动作与关系约束；SAM2 将通过验证的实例框扩展为掩码，专门的 matting 数据链再产生连续 alpha 标签。论文称其标注库存覆盖超过 1 亿张图像、约 36 亿个框。

更重要的是，模型错误会回流到数据系统。漏检用于补采和构造 hard positive，错误指代用于增加实例对比，假阳性用于构造经审核的 hard negative；只有人工复核确认标签有误时才修改监督，而不是把“模型不同意”直接当成“标签错误”。

4. 以课程式 SFT 和混合任务 RL 连接全部能力

训练先让模型学会结构，再逐步提高分辨率、密度和像素能力，最后用完整输出级奖励强化定位。论文在 30 余项基准上评估七类任务，重点比较同量级 Qwen 系列、Rex-Omni、LocateAnything 与若干专业系统。

方法拆解

数据引擎：从概念到框、掩码与 alpha

WDE 的流程可以概括为五步：

1. 语义发现：Tokenize Anything 发现类别，Qwen3-VL 生成包含属性、状态、动作和关系的指代表达；Wikipedia 与 WordNet 等资源用于初始化知识图谱。
2. 多专家提议：检测任务合并 SAM3 和 DINO 风格内部检测器的候选，指代任务合并 SAM3 Agent 与 Rex-Omni 的候选。
3. 语义验证：Qwen3-VL 在完整图像上下文中判断候选是否满足查询，并去重、消解冲突、区分目标与仅作语境参照的对象。
4. 像素扩展：SAM2 为同一实例生成二值掩码；BiRefNet、MatAnyone2 和专门训练的 matting annotator 将部分实例扩展为连续透明度监督。
5. 难例闭环：系统针对易混类别、细粒度属性、遮挡、密集目标与历史失败构造正负难例，并保留标注来源、暴露问题的模型版本和修订记录。

负样本处理尤其值得注意。把“红色汽车”改成“蓝色汽车”并不能自动证明图中没有蓝车，检测器没返回结果也可能只是漏检。WDE 会针对完整图像审核负查询；只有确认所有条件均不满足、且当前模型仍错误输出目标时，才把它作为 hard negative。这为论文强调的“目标不存在时拒绝回答”提供了比随机改词更可信的训练信号。

结构化任务格式：坐标也是词表的一部分

模型以 Qwen3-VL 为骨干。框写成 [x0, y0, x1, y1]，点写成 [x0, y0]，坐标均映射到 0–1000 的离散 token。像素任务的输出形态可抽象为：

<ref>目标描述</ref><box><x0><y0><x1><y1><OBJ></box>

如果存在多个实例，模型依次生成多个结构化对象；如果目标不存在，则生成 None。这个格式让同一个自回归头既承担语义选择，也承担空间定位，并把 <OBJ> 的隐藏状态留给稠密预测。

轻量像素解码器：语义查询、框先验与多尺度像素

像素解码器由三部分组成：

• Visual Feature Adapter：从 Qwen3-VL ViT 合并前的四层中间特征取出多尺度信息，经投影、深度可分离卷积和前馈层形成共享视觉记忆。
• Box-guided Query Decoder：将 <OBJ> 隐藏状态投影为内容查询，将框做 Fourier 编码形成位置查询，再通过六层 deformable attention 从多尺度视觉记忆中读取目标信息。
• Instance-Conditioned Dense Head：根据实例查询生成动态卷积核，先得到粗掩码，再通过三阶段由粗到细的残差上采样恢复边缘；matting 额外利用浅层 RGB 特征处理头发、毛发和半透明区域。

解码器总计约 960 万参数，分割和抠图共享主体结构。相比再运行一个大型通用分割模型，它的主要优势是小、复用骨干特征，并且天然接收 VLM 已经选择好的实例表示。

三阶段 SFT：先格式，再密度，最后像素

这些“样本数”并不等于独立图像数。相同图像可以产生多个任务记录、查询或实例训练样本，因此不能把 2.5 亿分割样本或 1.3 亿抠图样本理解成同等数量的独立图片。

混合任务 RL：奖励完整定位，不奖励单个 token

SFT 优化每个 token 的似然，却不能直接优化一组预测框是否完整、准确且无重复。作者先让 SFT 模型对候选提示多次采样，再用均值、方差构造不确定性分数，优先选择“有时成功、有时失败”的中等难度样本。最终 RL 集含 17.8 万条数据，使用 GRPO，每个提示采样 8 个完整回答。

奖励先按语义类别对预测框与真值框做一对一匈牙利匹配，再聚合三次方 IoU，并同时惩罚漏检与重复预测。三次方会放大高 IoU 区间的差异，促使框进一步收紧。负样本只有在完全不输出对象时才得到 1 分。

需要强调：分割和抠图在 RL 阶段也只使用框级奖励，不直接评估掩码或 alpha matte。换言之，RL 强化的是实例选择和框定位，像素质量主要仍由 SFT、解码器预热与 matting 微调承担。

实验设计与结果

评测范围与口径

论文使用贪心解码、温度 0，每张图最多 1,960 个视觉 token。对象级任务覆盖检测、指代检测、计数、点定位和 OCR；像素级任务覆盖指代分割与可提示抠图。检测和 OCR 主要报告从 IoU 0.5 到 0.95 的平均 F1，而不是依赖置信度校准的 AP；计数采用严格 exact match；分割报告 cIoU 或 gIoU；抠图使用 MAD、MSE、梯度、连通性和 SAD 等误差指标。

以下为项目页与论文表格给出的 WeVisOne-VL-4B 代表性结果：

对象级任务：优势集中在密集、细粒度和拒绝

检测方面，2B 与 4B 模型在 COCO、LVIS、Dense200 和 VisDrone 上均表现强势，尤其是 Dense200 的密集小目标。论文还指出，在严格 IoU=0.95 下仍有优势，说明结果不只来自“多报框提高召回”，框的几何精度也有所改善。

指代定位覆盖单目标、多目标、细粒度属性和目标缺席。内部 WeRef-Bench 含 2,880 条中英文查询，专门加入不存在目标的表达。4B 模型在该基准上的拒绝率达到 96.4%，而定性示例中，基线会给不存在的“白上衣红短裤的人”强行输出框，WeVisOne-VL 返回空结果。可靠拒绝是这项工作的实用亮点，但也最需要独立基准复核。

计数不是直接生成一个数字，而是先定位所有目标，再用框数得到答案。WeVisOne-VL 在论文列出的全部计数基准与划分上排名第一，例如 PixMo-Count 验证/测试为 93.7%/89.6%，MixCount 验证/测试为 42.0%/40.4%。后者明显更低，也提醒读者：开放词汇、混合对象和细粒度计数仍远未解决。

OCR 被当作“文字转写 + 空间 grounding”任务，只有转写完全一致且框通过 IoU 阈值才算正确。4B 模型在 TotalText 的 Mean F1 为 52.0，在 SROIE 为 68.1。这个口径比只算字符识别更严格，但不同系统是否专为 OCR 优化、输入分辨率与解码格式是否一致，也会影响横向比较。

像素级任务：统一接口没有明显牺牲稠密输出

指代分割在 RefCOCO、RefCOCO+、RefCOCOg、ReasonSeg 与 Ref-ZOM 上评估。论文报告 WeVisOne-VL 在 RefCOCO 系列所有划分上超过已列基线，并在含零、一或多目标的 Ref-ZOM 上同时保持掩码质量和缺席拒绝能力。定性结果显示，它能处理“最左边和从右数第三个遥控器”一类多实例关系，也能对不存在的目标不输出掩码。

抠图评测比普通分割更苛刻，因为 alpha 需要表示头发、毛发和半透明边缘。给定真值框时，WeVisOne-VL 与专业 matting 模型具有竞争力，并持续优于论文采用的 SAM2-Matting 基线；在自建 WeRefMat 上，它还能直接通过类别或指代表达选择目标。这里的真正增量不是单纯把 MAD 降低，而是把“语言找对象”和“生成连续 alpha”放进同一模型。

训练成本与工程含义

附录披露 SFT 使用 128 张 GPU、RL 使用 160 张 GPU；SFT 三阶段分别约 13K、9K、9K 步，RL 为 593 步，均使用 BF16。像素解码器虽只有约 960 万参数，但背后的数据生成、数亿任务样本和多阶段训练并不轻量。因此，“轻量”准确描述的是推理端附加解码器，而不是整个模型研发过程。

结果为什么重要

统一感知的关键不只是多任务，而是共享实例身份

多任务模型并不新鲜，真正容易出错的是任务之间的对象身份传递。检测器找到的“第二个人”进入分割器后，可能变成另一个人；文本指代经框再经 mask 的流水线也会累积误差。<OBJ> 隐藏状态与同一输出中的框共同充当实例查询，使对象级语义和像素级结果在架构上绑定，这是比“在一个模型里支持七项任务”更值得关注的设计。

可靠拒绝应成为视觉 grounding 的一等指标

很多公开指代数据默认目标一定存在，模型学到的是“无论如何都要选一个区域”。真实产品却经常收到错误、含混或与画面不符的请求。WDE 对 hard negative 的谨慎构造，以及 None 格式与负样本奖励，说明拒绝不是后处理阈值，而是从数据、输出协议到训练目标都需要一致设计的能力。

数据闭环可能比单个结构组件更重要

系统同时使用知识图谱、多专家提议、VLM 验证、人工抽检、标注溯源和基于错误的再采样。它把类别覆盖、密集召回、语言约束和像素监督连成一条生产线。这很可能是结果提升的主要来源之一，但由于缺少消融，论文无法把数据规模、教师组合、坐标 token、像素解码器、课程训练和 RL 的贡献分开。

局限与批判性分析

1. 没有消融实验，因果归因不足

论文没有系统比较“去掉知识图谱”“单一标注专家”“不用 <OBJ>”“不做 Stage 2 密集训练”“不做 RL”或“不同像素解码器”等变体。当前结果证明完整配方很强，却不能回答 71.3 的 Dense200 F1 中有多少来自数据、分辨率、坐标 token 或 RL，也无法判断 960 万参数解码器是否是性价比最优方案。

2. 部分最亮眼证据依赖内部数据与基准

WeRef-Bench 和 WeRefMat 能补足公开基准在目标缺席、双语查询和语言提示抠图上的缺口，但它们由同一团队构建。即使论文声明正式基准与训练、反馈数据隔离，读者仍需要可下载数据、固定评测代码、独立复现和更广模型对比，才能排除任务定义与自家训练分布天然贴合的影响。

3. 比较口径广，但并非完全等价

对象级任务比较通用 Qwen、grounding VLM 和专业检测/OCR 系统，像素任务又比较分割、抠图与级联系统。论文尽量统一推理设置和提示，但各模型的训练数据、输出置信度、输入分辨率、是否使用 thinking mode 与任务专用后处理并不相同。F1 适合无校准置信度的生成式 VLM，却也不能替代专业检测器惯用的 AP 与速度—精度曲线。

4. RL 没有直接优化像素质量

分割与抠图在 RL 中只使用框级 grounding reward，掩码和 alpha 不进入奖励。这降低了在线奖励计算难度，也能先保证选对实例；但框更准不必然意味着毛发、孔洞和半透明边界更好。未来若加入稳定且成本可控的 mask/alpha 奖励，可能进一步验证混合任务 RL 是否真的能改善像素端，而不是只改善前置定位。

5. 论文承认通用能力、复杂推理与交互仍有缺口

作者明确列出四个边界：通用训练数据占比有限，可能损害相对基础模型的通用能力；为效率直接输出结构结果而不做 CoT，复杂推理能力受限；当前只支持单轮预测；真实用户指令常常含糊、犹豫且依赖对话语境，远比基准中的清晰提示难。论文没有报告通用 VLM 能力回归，也没有评估多轮纠错、工具调用或交互式澄清。

6. 仍缺少部署维度证据

论文披露了解码器参数量和训练 GPU 数，但没有给出端到端延迟、吞吐、显存、每图 token 开销、2B/4B 的速度—精度权衡，也没有与串联 SAM 类系统做统一硬件下的系统成本比较。因此，“轻量像素解码器”成立，“整套系统更适合实时部署”则尚未由实验充分证明。

应用影响

内容创作与图像编辑

一句自然语言可以同时完成目标选择、精确分割和 alpha matte 生成，适合商品抠图、人物与毛发精修、局部替换、图层生成和素材检索。None 拒绝机制还能避免在目标不存在时误改其他对象。

工业检测与长尾视觉系统

开放词汇语义、密集小目标召回和高 IoU 定位的组合，适合品类变化快、缺陷名称多、场景拥挤的检测任务。不过论文结果主要来自通用基准，进入工业环境仍需针对漏检成本、误报阈值、域偏移和实时性能重新验证。

具身智能与自动驾驶

机器人指令经常包含关系与属性，如“拿起左边被杯子挡住的红色工具”。统一输出点、框和掩码能为抓取、导航和操作提供不同粒度的感知接口。当前单轮限制意味着它更像一个强感知模块，而不是能持续维护世界状态、主动澄清和纠错的完整 agent。

训练数据生产

论文展示了带框的细粒度 caption：模型生成描述时同步标注短语对应区域。这类输出可用于构造 grounded caption、多模态预训练或数据清洗，但大规模回灌前必须监控伪标签偏差，尤其不能让模型自己的错误在闭环中被不断放大。

相关工作脉络

1. 开放词汇检测与视觉 grounding：Grounding DINO 等模型把类别名称和区域对齐；Kosmos-2、Florence-2 将位置纳入语言接口；Molmo/PixMo 强调点监督；Rex-Omni 用量化坐标 token 与几何 RL，LocateAnything 以并行框解码提高速度和精度。WeVisOne-VL 延续“坐标作为 token”的路线，并进一步接到像素输出。
2. 语言驱动分割：LISA 用特殊 segmentation token 连接 mask decoder，GLaMM 交织文本和 grounded mask，GSVA 支持多目标及缺席拒绝，Text4Seg 将掩码序列化为文本，Sa2VA、UniPixel 与 Youtu-VL 探索 MLLM、SAM 和统一视觉监督的不同组合。WeVisOne-VL 的差异是用框、<OBJ> 与共享 ViT 特征共同约束实例。
3. 可提示分割基础模型：SAM、SAM 2 与 SAM 3 建立了点、框、概念提示下的通用分割范式。WeVisOne-VL 没把大型 SAM 当作在线像素骨干，而是在数据生产阶段使用 SAM 系列，在模型端换成轻量解码器。
4. 图像与视频抠图：MODNet、P3M 面向人像前景，Matte Anything、Matting Anything 和 In-Context Matting 引入提示，SAM2-Matting 在分割追踪器上增加抠图组件，MatAnyone 系列关注视频目标与时序一致性。WeVisOne-VL 把类别名和指代表达直接引入多对象场景的 alpha 预测。

最终判断

WeVisOne-VL 给出了一套完整且工程感很强的统一视觉感知方案：以专用坐标 token 解决紧凑的对象级输出，以 <OBJ> 隐藏状态保持实例身份，以小型解码器恢复像素细节，再用跨任务数据闭环、课程式 SFT 和定位 RL 把七类能力训练到同一模型中。它在密集检测、缺席拒绝、严格计数、OCR、指代分割和语言提示抠图上的结果共同说明，小规模 VLM 不必在“懂语言”和“做精确几何”之间二选一。

但应把结论控制在论文证据范围内：这是一个强大的完整系统，不是已经通过消融证明的最简方案；“统一”不等于所有任务都达到专业系统上限；“轻量”只指附加解码器；内部基准、单轮提示、像素端无 RL 奖励和缺少部署性能仍是重要边界。

如果后续工作公开完整数据与评测、补充独立复现和组件消融，并报告通用能力回归及统一硬件下的速度—显存曲线，WeVisOne-VL 的贡献会从“结果很强的统一配方”进一步升级为“可验证、可取舍的通用视觉感知架构”。目前最值得复用的思想是：让语言选择的实例拥有一个贯穿框、掩码和 alpha 的共同表示，并把“不存在”作为模型必须学会的正式答案。

参考资料

• Hugging Face Daily Papers：WeVisOne-VL
• arXiv：WeVisOne-VL: Unified Visual Perception from Objects to Pixels
• arXiv HTML 全文
• WeVisOne-VL 项目主页
• Tencent/WeVisOne-VL 代码仓库
• Hugging Face 模型集合