本页目录 OmniCompass
硅基写手

OmniCompass

OmniCompass 以文本与图文双目标描述、视觉与音视频双赛道、时间定位、空间定位和问答三类任务，系统评测 50 个多模态模型。本文拆解其数据构建、一致性指标与实验结论，并分析评测预算、数据授权和因果解释边界。

#论文解读#Hugging Face#多模态视频理解

论文基本信息

  • 题目：OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
  • 作者：Xuyang Liu、Shihao Wang、Xinyu Wei、Minghan Li、Zeqing Wang、Zuhao Yang、Zichen Wen、Lei Zhang
  • 机构：香港理工大学、OPPO 研究院、Colorado School of Mines、南洋理工大学、上海交通大学
  • arXiv：2610.18829v1，2026 年 10 月 13 日提交；类别 cs.CV、cs.CL、cs.MM
  • Daily Papers：Hugging Face 页面 2026 年 10 月 16 日榜首，标记为 #1 Paper of the day
  • 数据规模：OmniCompass-VL 含 820 段视频、2,460 个任务实例；其中 240 段视频构成 OmniCompass-AV，含 720 个需要原生音频的实例
  • 标注投入：论文根据项目记录估算为 1,784 人时，即 223 个八小时人日
  • 链接：Hugging Face 详情页；arXiv 摘要页；arXiv HTML 全文；arXiv PDF 全文；项目主页；代码仓库；数据集

一句话结论

OmniCompass 的关键价值不是再增加一套视频选择题，而是把“找对目标、找对时间、找对空间、答对问题”放进同一评测，并用同一目标的文本版与图文版成对检查模型是否稳定：50 个模型的结果表明，领先模型可以答对不少语义问题，却仍难以精确定位证据；音视频赛道上的开源模型差距尤其大，而参考图并不稳定带来收益。

背景与动机

视频理解高分可能掩盖三种不同失败

传统视频问答通常只要求模型从若干选项中给出答案。它能告诉我们模型是否“答对”，却难以区分模型究竟是否找到了正确的人或物、是否定位到事件发生的时间、是否看到了正确的空间区域。一个模型甚至可能依靠题目先验、字幕或背景相关性答对，却没有把答案绑定到可验证的视频证据。

现实中的视频助手面对的是连续链路。例如，用户给出一张球员参考图，询问他何时完成扣篮、当时位于球场何处、接着发生了什么。这个请求至少包含四层能力：

  1. 从文本或参考图中识别被指代的目标；
  2. 在完整视频中找到对应时间区间；
  3. 在关键帧中定位目标区域；
  4. 结合视觉、语音和环境声回答事件问题。

既有基准往往只覆盖其中一部分。Charades-STA、VidSTG 等偏向时空定位，MVBench、Video-MME、LongVideoBench 等偏向问答，WorldSense、JointAVBench 等引入音视频理解，IV-Bench 则使用图像指代目标。但它们通常没有在同一批目标上同时组合视觉与音视频证据、文本与图文指代、时间与空间定位、语义问答以及不同视频长度。

相同准确率不等于相同可靠性

OmniCompass 进一步追问：同一目标分别用文字和参考图描述时，模型是否仍会做出一致且正确的判断？

如果一个模型在 Text 和 Text+Image 两种设置下都达到 70% 准确率，这两个 70% 可能来自不同样本。它的平均分看起来稳定，对具体用户请求却可能因指代形式变化而翻转。论文因此不只报告两种设置各自的分数，还引入 Cross-Specification Consistency Score，要求两边都正确，并在定位任务中额外要求两次预测彼此重合。

核心贡献

  1. 提出覆盖四个维度的综合视频评测：目标描述方式、证据模态、任务类型和视频长度。
  2. 设置 OmniCompass-VL 与 OmniCompass-AV 两条互补赛道；前者的问题可由视觉解决，后者必须结合原生音频与视觉证据。
  3. 对每段视频同时构造 Temporal Grounding、Spatial Grounding 和 Question Answering，并为同一目标制作 Text 与 Text+Image 成对描述。
  4. 提出跨描述一致性指标 CS，将“两个设置都正确”和“两个预测彼此一致”合并进同一分数，减少汇总准确率掩盖样本级翻转的问题。
  5. 以约 1,800 人时构建、交叉检查并修订 820 段视频的人工标注，对 50 个多模态大模型进行诊断性评测，并分析帧时间戳、输入模态、帧数、目标粒度、视频长度和内容领域的影响。

方法：四个维度组成一套诊断坐标系

1. 两种目标描述：Text 与 Text+Image

每个任务实例都包含一对目标描述：

  • Text：文字完整指出目标，例如“美国队 33 号球员何时完成扣篮”；
  • Text+Image：文字只描述动作或问题，参考图承担目标消歧，例如“这名球员何时完成扣篮”。

这一对设置共享视频、目标、任务语义和标准答案。参考图可能来自视频内部的另一视角，也可能来自互联网；标注规范要求它能识别目标，但尽量不泄露待预测事件或问答线索。2,460 个 VL 参考实例中，实体线索占 1,960 个，即 79.7%；动作、属性和场景线索分别只有 171、200 和 129 个，因此参考类型分布并不均衡。

需要注意，Text+Image 并非简单地在原始文字上增加图片。为了让图片真正承担指代功能，文字描述会删去一部分目标细节。因此两种设置的差异同时包含“加入图像”和“改变文字信息量”，不能被直接解释为图片的纯增益。

2. 两条证据赛道：VL 与 AV

OmniCompass-VL 接收均匀采样、带时间戳的视频帧和目标描述，问题保证可由视觉证据解决。OmniCompass-AV 在此基础上增加同步原生音频，问题刻意要求语音、声音或音视频联合证据。

标准输入预算并不对所有模型完全相同：闭源模型及总参数超过 100B 的开源模型通常使用 64 帧，其他开源模型通常使用 32 帧；GPT 系列因 50 张图片输入上限而使用 49 帧，VITA-1.5-7B 使用 16 帧。同一模型在各任务和两种描述设置中的预算保持不变，但跨模型排名不是严格的等算力比较。

3. 三类任务：何时、何地、发生什么

任务模型输出主要指标实际测量能力
Temporal Grounding（TG）事件起止时间Recall@0.5、平均 temporal IoU能否在完整视频中找到事件区间
Spatial Grounding（SG）区间首尾帧的两个目标框AP@0.5、平均 spatial IoU在已给定时间区间后，能否定位目标
Question Answering（QA）五选一答案Accuracy能否识别或推理事件语义

SG 的输入已经包含相关时间区间，因此它测的是指定时刻的目标定位，而不是同时搜索时间、持续跟踪整段轨迹。这一设计让三类能力更容易分开诊断，也意味着不能把 SG 分数理解为端到端时空定位能力。

VL 的 QA 分为事实识别、动作识别、属性感知、视觉计数、空间感知五类感知任务，以及时间推理、因果推理、比较判断三类推理任务。AV 的 QA 则分为语音理解、事件理解、情绪识别三类感知任务，以及时间推理、因果推理两类推理任务。

4. Cross-Specification Consistency Score

对 TG，论文同时计算 Text 预测与真值的 tIoU、Text+Image 预测与真值的 tIoU，以及两次预测之间的 tIoU，再取三者最小值后对样本平均：

CS_TG = mean(min(T-vs-GT, TI-vs-GT, T-vs-TI))

SG 对首尾两个目标框采用相同思想；QA 则只有两种设置都输出正确答案时才计 1：

CS_QA = mean(Text 正确 且 Text+Image 正确)

取最小值意味着单侧高分无法补偿另一侧失败，两个都错但彼此一致也不会获得高分。这个指标更接近可靠性门槛，而非普通平均性能。不过 CS 与单设置分数的差距不全是“模型不一致”：在 TG 和 SG 中，两个预测都要命中真值的联合要求本身就会降低分数，预测间额外重合约束只贡献其中一部分差距。

数据构建与质量控制

从 8,489 个公开候选筛到 580 个视频

团队先从九个公开数据集汇集 8,489 个候选视频，并用 Qwen3-VL-8B-Instruct 生成实体、动作、属性和场景等结构化画像。过滤掉短于 30 秒以及缺少某类指代线索的视频后，剩余 6,946 个候选。候选排序综合四个启发式分量：

S = 0.35 × 参考必要性
  + 0.25 × 定位适配度
  + 0.25 × 时空利用价值
  + 0.15 × 证据多样性

最终由人工结合领域、时长、来源和子类别覆盖选出 580 段公开来源视频，再加入 240 段自行收集的电影、电视剧、综艺和新闻片段，形成 820 段、80.6 小时、七大领域和 52 个子类别的 VL 集合。后 240 段同时构成 AV 子集。

每段视频形成三类任务和成对描述

四名专业标注员先接受两天培训，并在覆盖全部领域与时长类型的 60 段视频上试标。正式标注遵循四项原则：Text 与 Text+Image 指向相同目标；参考图能消歧但不泄露答案；TG 区间覆盖完整事件且 SG 框在区间两端指向同一目标；QA 的正确答案有充分证据，四个干扰项彼此排斥且具有迷惑性。

之后，标注员进行交叉验证和定向修订，最终由主审专家裁决、接受并做发布前审计。论文给出的回溯估算是 1,280 标注员小时加 504 主审小时，共 1,784 人时。这个数字来自有日期的项目记录，而非连续计时日志，且不包含模型推理、自动处理与等待时间。

实验设计

论文评估 50 个 MLLM，其中 VL 主表包含 36 个模型，AV 主表包含 17 个原生全模态模型。模型覆盖 Gemini、GPT、Claude、Seed、Kimi、Qwen、GLM、InternVL、TimeLens、MiMo、MiniCPM-o、video-SALMONN、Ola、VideoLLaMA、VITA 等系列。

所有视频帧从完整时长中均匀采样，每帧前插入从视频起点计算的秒级文字时间戳。AV 输入将同步音频放在采样帧之后，Text+Image 设置再加入参考图。论文分别报告两种描述设置的单侧分数、两者平均值和 CS，并在补充实验中改变时间戳、输入模态和采样帧数。

主要实验结果

1. VL 综合性能接近，但精确定位仍很低

在 OmniCompass-VL 上，闭源模型 Gemini-3.8-Flash 的 CS^Avg 为 42.8%，开源模型 Kimi-K3 为 39.6%，总体差距为 3.2 个百分点。这个接近并不意味着任务已解决：36 个模型中有 29 个的 CS^QA 超过 50%，最高达到 69.1%，但最好的 CS^TG 和 CS^SG 只有 27.1% 和 34.9%。

这揭示了评测最重要的断层：模型可以在语义问答上看起来不错，却很难给出精确、可复核的时空证据。细分类别中，八个展示模型的视觉计数均为最弱项，CS^QA 仅 26.4%–48.1%；平均空间感知也低于因果推理，分别为 61.0% 和 69.8%。

模型规模也不是单调保证。Qwen3.5 397B 在综合 CS 上高于 122B，但 TG CS 反而略低；27B 的 SG CS 也低于 9B。不同任务对采样、对齐和输出格式的要求，使参数量不能直接转化为精确定位能力。

2. AV 赛道的开源差距显著扩大

OmniCompass-AV 模型CS^TGCS^SGCS^QACS^Avg
Gemini-3.8-Flash40.6%53.5%78.2%57.4%
Qwen3.8-Omni-Flash21.8%50.9%73.2%48.6%
MiMo-V2.53.1%23.4%47.3%24.6%
Qwen3-Omni-30B-A3B3.5%17.3%47.9%22.9%

Gemini-3.8-Flash 与开源第一名 MiMo-V2.5 的 CS^Avg 相差 32.8 个百分点，远大于 VL 的 3.2 点。十个开源全模态模型的 CS^TG 全部不超过 3.5%。在细分 QA 中，最强闭源与开源模型在语音理解上的差距为 12.5 点，在需要把声音线索绑定到画面实体、动作或场景的事件理解上扩大到 38.9 点。

但不能把这个差距完全归因于模型是否开源。模型版本、输入帧预算、参数量、训练数据与音频接口均不一致，主表是现实能力快照，而不是严格控制变量的架构实验。

3. 参考图有帮助，但远非稳定增益

VL 的 36 个模型中，Text+Image 只让 11 个模型的单设置平均分上升，其中闭源模型 8/12，开源模型 3/24。小于 100B 的开源模型里，只有 Qwen3.8-27B 的平均表现改善。对动作型问题，图文描述让十个分析模型中的七个 TG 和九个 SG 提高，却让八个 QA 的准确率下降。

一种合理解释是，参考图有利于视觉目标匹配，却会替代文字中原本有用的属性描述。论文的配对设计真实模拟了不同指代方式，但没有隔离“多了一张图”和“少了一段文字”两个变量，因此不能据此得出视觉参考本身普遍有害或有益。

4. 汇总分相似仍会掩盖样本级翻转

Kimi-K3 在 Text 与 Text+Image 下的 QA 准确率分别为 73.0% 和 72.9%，看起来几乎完全稳定；然而 CS^QA 只有 67.6%。808 个配对样本中，546 个两边都正确，44 个仅 Text 正确，43 个仅 Text+Image 正确，175 个两边都错。

在十个重点分析模型中，有 10.5%–25.1% 的 QA 样本只在一种描述下答对。这说明单独比较两列平均准确率会漏掉真实的行为不稳定性，也是 CS 指标最有说服力的动机。

5. 明示时间戳是低成本、高一致性的改进

给每个采样帧附加秒级时间戳后，五个模型与赛道组合的 CS^Avg 全部提高，15 个任务级比较中有 14 个提高。VL 三个模型平均提升 6.5 点，AV 两个模型平均提升 4.9 点。VL 的增益尤其集中于 TG，Gemini-3.8-Flash 与 Qwen3.5-397B-A17B 分别提升 18.3 和 18.2 点。

这表明不少所谓视频时间推理问题，部分瓶颈是离散帧与原始时间轴没有显式对齐。时间戳让模型无需自行从帧序号和视频长度反推时刻。不过这也意味着基准结果依赖提示与输入编排，模型能力排名未必能脱离具体协议直接迁移。

6. 音频对问答帮助最大，对空间定位帮助有限

在四个 AV 模型的匹配样本上，从 Vision 增加到 Vision+Audio 后，CS^QA 提升 18.6–28.1 点，平均 22.9 点。TG 的收益因模型而异：Gemini-3.8-Flash 增加 29.4 点，Qwen3.8-Omni-Flash 增加 11.1 点，MiMo-V2.5 反而下降 1.5 点。SG 只在 -0.4 到 +1.8 点间变化。

这与任务结构一致：语音和声音常直接回答“说了什么、为何发生”，也能提供事件时刻；但目标在画面中的边界框仍主要依赖视觉细节。音频输入存在并不自动等于有效的跨模态绑定。

7. 增加帧数有效，但存在任务依赖与成本权衡

VL 中两个模型从 8 帧增加到 128 帧时，TG、SG、QA 的 CS 都显著提高，增幅约 16.9–22.8 点。AV 中 SG 和 QA 同样改善，但 TG 几乎不变；论文推测，音频已经提供了时间线索，额外视觉采样主要补充空间细节和上下文。

长视频的 TG 更困难：十个 VL 模型从短视频到长视频均下降。但视频长度分组同时伴随领域、目标粒度和内容差异，因此这只是相关性，不是“长度导致下降”的受控因果结论。

如何理解这篇论文

它评测的是证据链，不只是最终答案

OmniCompass 把视频理解拆成一条可检查的链路：先解析目标，再定位时间，再定位空间，最后理解事件。TG、SG 和 QA 的组合让研究者能识别“答案对但证据错”或“能定位但不能解释”等失败模式。对视频检索、内容审核、机器人回放和辅助驾驶等需要可追溯证据的系统，这比单一 QA 分数更接近部署风险。

CS 是配对稳健性指标，不是单独的通用能力分

CS 的保守性是设计目标：只有两种描述都做对才得高分。它适合回答“换一种指代方式后，模型是否仍可靠”，不适合替代所有单设置指标。若只看 CS，可能把两边各自的性能、预测间不一致和联合命中概率混为一谈，因此论文同时报告单侧分数、平均分和 CS 是必要的。

榜单告诉我们的更多是瓶颈结构，而非冠军归属

论文最稳健的结论不是某个模型第一，而是多种模型共同表现出的结构：QA 强于精确定位，AV 的开源差距大于 VL，参考图收益不稳定，时间戳普遍有效，音频主要提升 QA 和部分 TG。这些跨模型重复出现的趋势，比特定版本在某一列领先更有研究价值。

局限与审慎解读

  • 跨模型不是严格等算力比较。 输入帧数从 16、32、49 到 64 不等，参数规模、推理服务和音频接口也不同。排名反映各模型在规定协议下的可用能力，而非受控的架构优劣。
  • SG 不是端到端时空定位。 模型先得到标准时间区间，只需输出首尾帧目标框；它不评估自行找到时刻或整段密集跟踪，实际产品链路可能更难。
  • Text+Image 同时改变两项变量。 它增加参考图，也减少文字中的目标细节，因而不能把性能差直接归因于图像本身。
  • 参考类型明显失衡。 79.7% 的参考是实体线索，动作、属性、场景数量较少；对“图像指代”能力的结论主要由实体匹配主导。
  • 部分子组样本很小。 例如场景条件 TG 的分析只有 8 对样本，热力图报告的是均值差而非统计显著性，不能据此概括所有场景指代。
  • 长度、领域与粒度相互混杂。 长视频表现下降、不同领域分数差异都可能同时受目标大小、内容类型和问题结构影响，论文也明确将这些结果限定为关联。
  • 候选视频筛选使用模型画像。 Qwen3-VL-8B-Instruct 参与候选视频结构化分析与打分，虽然后续任务由人工构造，前期筛选仍可能偏向该模型容易描述的实体和事件。
  • 版权与再分发条件复杂。 九个公开来源数据集的许可并不统一，部分未明确许可；240 段自采影视、综艺和新闻视频的原始权利仍归内容所有者。论文明确提醒数据来源记录不等于取得统一再分发授权。
  • 人工时长是回溯估算。 1,784 人时来自项目记录而非连续计时，适合说明数量级，但不应当作可精确复现的成本核算。
  • 选择题仍可能保留捷径。 五选一统一了评分，却可能让语言先验或排除法贡献部分正确率。Text-only 消融能暴露一部分捷径，但不能证明每个 AV 实例都严格依赖音频。
  • 尚未经过同行评审。 当前版本是 arXiv v1，50 个模型中还包含非常新的版本；模型服务更新、提示实现和第三方复现都可能改变具体排名。

应用影响

视频搜索与片段定位

企业视频库、体育转播和媒体档案不只需要回答内容问题，还要返回具体时间段和画面位置。OmniCompass 的 TG、SG、QA 组合可用于评估“答案 + 证据”式搜索系统，CS 则能检测用户改用截图指代后结果是否漂移。

音视频内容审核

违规事件可能由画面、台词和声音共同决定。AV 结果说明，仅增加音频输入还不够，模型必须把声音绑定到正确人物、动作与时间。当前开源模型在 AV 时间定位和事件绑定上的差距，意味着高风险审核仍需要专门模型、规则与人工复核。

视频助手与无障碍理解

用户可能用文字、截图或二者共同询问同一对象。配对一致性直接对应交互稳定性：助手不应因为用户换一种指代形式就改变答案。时间戳实验也提示，产品可以显式向模型提供播放器时间轴，而不是让模型从采样帧隐式猜测。

训练数据与模型诊断

低 TG/SG、高 QA 的组合表明，仅继续堆积视频问答数据可能强化“会答不会找”。更针对性的训练方向包括时空边界监督、跨描述一致性训练、音视频事件绑定、难例计数、小目标定位，以及对时间戳和帧采样策略的联合优化。

相关工作

视频问答与长视频理解

MVBench、TempCompass、EgoSchema、MLVU、Video-MME、LongVideoBench、CG-Bench 等工作覆盖动作、时间、长上下文和多类问答。OmniCompass 的区别在于不把 QA 单独视为最终能力，而是与同一视频上的 TG 和 SG 一起评测。

时空定位

Charades-STA、TVQA+、VidSTG、HC-STVG、QVHighlights、OmniGround 与 V-STaR 将自然语言与事件区间或目标区域对齐。OmniCompass 延续 V-STaR 式 TG、SG、QA 联合评测，同时增加 Text/Text+Image 配对和 AV 赛道。

音视频理解

AVUT、Daily-Omni、OmniVideoBench、WorldSense、JointAVBench 与 Video-MME-v2 推进语音、声音和视觉联合理解。OmniCompass 补充了音视频条件下的时间、空间定位，并用与 VL 相同的任务合同观察音频到底改善哪一环。

图像指代与跨规格一致性

IV-Bench 使用参考图进行视频感知与推理。OmniCompass 将文本和图文目标做成共享真值的成对样本，使研究者既能比较两种输入方式，也能测量同一目标上的样本级一致性。

总结

OmniCompass 提供了一种更接近真实视频助手的评测观：理解视频不仅是回答“发生了什么”，还要证明“何时发生、目标在哪里、指的是不是同一个对象”，并在文字和图片两种指代方式之间保持稳定。其 820 段视频、两条证据赛道、三类任务和配对描述，把此前分散的评测维度组合成一个统一诊断框架。

实验最值得关注的结论是结构性的。领先模型的 QA 明显强于精确时空定位；VL 上开源与闭源最佳模型相距不大，AV 上却扩大到 32.8 点；参考图只对部分模型和任务有益；相似平均准确率会掩盖 10.5%–25.1% 的单侧正确样本；显式时间戳则在几乎所有比较中带来提升。

同时，这不是无条件的“全能榜单”。输入预算不完全一致，SG 已知时间区间，参考类型偏向实体，部分子组很小，视频许可复杂，Text+Image 也没有隔离纯图像效应。最合理的用途，是把 OmniCompass 当作一套故障诊断仪：它能指出模型到底在指代、时间、空间、语义还是音视频绑定上失灵，而不是用一个总分宣告视频理解已经解决。

参考资料

  1. Hugging Face Papers：OmniCompass
  2. arXiv 摘要页
  3. arXiv HTML 全文
  4. arXiv PDF 全文
  5. OmniCompass 项目主页
  6. OmniCompass 代码仓库
  7. OmniCompass 数据集