Any Time, Any Space

论文基本信息

• 题目：Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation
• 简称：ATAS（Any Time, Any Space）
• 作者：Weijie Wang、Haomin Zhang、Ye Li、Akide Liu、Zeyu Zhang、Haoyu Zhao、Yefei He、Donny Y. Chen、Feng Chen、Bohan Zhuang
• 机构：浙江大学、莫纳什大学、UC Berkeley BAIR、阿德莱德大学
• arXiv：2610.20571v1，2026 年 10 月 14 日提交；类别 cs.CV
• Daily Papers：Hugging Face 页面 2026 年 10 月 15 日榜首
• 代码与运行条件：代码以 MIT License 开源；客户端无需 GPU，几何服务约需 20 GB 可用 NVIDIA GPU 显存，另需配置外部视频生成与语言模型服务
• 链接：Hugging Face 详情页；arXiv 摘要页；arXiv HTML 全文；arXiv PDF 全文；项目主页；代码仓库

一句话结论

ATAS 最重要的推进不是让单个视频片段更漂亮，而是给多镜头生成建立了一个可查询、可演化、但不能随意写入的“世界状态”：静态场景以统一坐标系保存，动态事件按场景、事件与时间区间索引，每个新镜头先读状态、生成后再经重建和注册决定是否写回。四种视频生成器上的一致性结果、空间重访和事件重演诊断都支持这种系统设计，但论文也清楚暴露了代价：完整状态将单故事运行时间从 51.9 分钟推到 64.9 分钟，记忆末期达到 2.44 GB，而且评测仍高度依赖自动指标、VLM 裁判和有限的人评。

背景与动机

长视频的难点不是把短片接长，而是让世界持续存在

当前视频模型已经能生成质量不错的短片段。到了多镜头叙事，问题却从局部画质变成了状态连续性：角色离开客厅、进入卧室，再回到客厅时，沙发、茶几和杯子应该仍在原处；某个动作过了一段剧情后从另一机位重演，动作阶段、物体状态与时间顺序也应对应同一次事件。

常见系统主要传递最近帧、文字摘要或检索到的参考图。这些线索对相邻镜头有效，却缺少两个关键坐标：

1. 共享空间坐标。 参考图知道“长什么样”，却未必知道物体在同一房间坐标系中的位置，也就难以从新机位稳定重访。
2. 事件时间坐标。 历史帧知道“发生过什么”，却未必知道它属于哪个事件、哪个时间区间，容易把相似画面当成同一次事件。

进一步说，生成视频本身并不等于可信观测。若系统把几何扭曲、人物漂移或时间错误的片段直接写进长期记忆，错误会在后续镜头中继续传播。ATAS 因而把问题定义为一个闭环：编译请求、读取世界状态、生成镜头、重建观测、验证后写回。

从“编辑上下文”转向“世界状态”

论文区分了两种连续性机制：

• 编辑上下文保存提示词、最近画面和生成历史，重点是让下一个镜头接得上；
• 世界状态保存空间注册后的静态证据与带时间索引的动态证据，重点是让任意后续镜头能按地点和时间重新访问过去。

这个差别类似“翻看聊天记录”和“查询结构化数据库”。前者可以提供语义提示，后者才明确回答：哪个地点、哪个事件、哪段时间、哪个相机视角需要什么证据。

核心贡献

1. 提出世界状态中心的智能体视频框架 ATAS，将高层剧本拆成带有场景、空间锚点、相机、时间区间和事件标识的有界镜头请求。
2. 将持久记忆拆成互补的两部分：场景记忆保存统一坐标系下的静态点云，事件记忆保存按场景、事件和时间组织的 RGB-D、掩码与动态点云。
3. 将“镜头是否可交付”和“镜头是否可成为后续证据”拆成不同决策；只有通过影片审查、几何注册和状态检查的观测才能写入世界状态。
4. 定义空间重访与历史事件重演两类直接诊断任务，分别检验静态空间证据和带时间动态证据能否跨越中间镜头后被准确查询。
5. 在 MiniMax-H3、Wan 2.7、HappyHorse 1.0、Wan 3.0 四种生成器上与五类智能体方法比较，并补充记忆消融、组件消融、状态新鲜度、写入阈值、成本和人类评价。

方法：让每个镜头都读写同一个世界

1. 世界状态由场景记忆与事件记忆组成

在第 t 个请求之后，世界状态可写成：

W_t = (S_t, E_t)

其中 S_t 是场景记忆，E_t 是事件记忆。二者没有被合并成一串历史帧，因为静态结构和动态事件的持久化语义不同：墙面、家具和门的位置应进入统一空间坐标；人物动作、火焰增长或浴缸进水则必须绑定到具体事件及时间区间。

完整闭环可以概括为：

剧本 + 当前世界状态
  -> 编译有界镜头请求
  -> 查询场景与事件证据
  -> 短视频生成器生成镜头
  -> 重建、注册与验证候选观测
  -> 交付影片，并在满足条件时更新世界状态

ATAS 是生成器无关的上层框架。论文保持提示包、时长预算和评测协议一致，在不同生成器上替换智能体方法，由此检验收益是否来自状态机制，而非某一个视频骨干。

2. 世界状态编译器把剧本变成可执行请求

高层剧本往往一次描述多个地点、时间和镜头。编译器递归拆分它，直到每个子请求适配短视频生成预算。一个可渲染请求包含六项：

q = (局部描述, 场景, 空间锚点, 目标相机, 时间区间, 可选事件)

局部描述形成普通镜头提示；场景和相机决定从哪里渲染静态参考；事件和时间区间决定是否提取历史动态证据。请求按顺序执行，后一个请求只能读取前一个请求已经验证过的状态，而不是预先把整部片拆完后并行生成。

这一设计牺牲部分并行性，换来明确的因果边界：如果前一镜头没有形成可信观测，后续请求不会把它当成既定事实。

3. 场景记忆负责“回到同一个地方”

场景的首个有效观测建立坐标系。后续通过验证的镜头被重建并注册到这一坐标系，动态区域被排除，剩余静态几何合并进场景点云。当请求重访某地时，系统按目标相机重新渲染该点云，得到场景条件参考。

场景记忆解决的是跨镜头空间寻址，而不只是复制最近一帧。理论上，同一房间即使经过多个中间场景，也能从新机位恢复家具布局与静态物体关系。

4. 事件记忆负责“回到同一个时刻”

每条事件记录包含场景标识、事件标识、来源镜头、时间区间，以及逐帧 RGB-D、掩码和动态点云。请求若指定历史事件与时间区间，系统直接检索兼容记录；不存在匹配项时，事件上下文为空。

这使“相似动作”和“同一次动作”成为不同概念。比如两个镜头都有人挥手，只有事件 ID 与时间区间匹配的那一段才应该支撑历史重演。论文也明确指出，目前保存的是帧局部动态证据，并非完成身份解析、可连续演化的运动模型。

5. 生成、交付和写回不是一个决定

镜头生成后经历三个关口：

• f_t：影片审查，决定镜头是否可进入成片；
• r_t：重建与注册，决定观测能否对齐场景坐标；
• a_t：状态准入，检查来源、场景范围和父状态版本是否合法。

只有三者都通过，世界状态才从 W_t 更新为 W_{t+1}。一个镜头可以被保留在影片中，却因注册失败而不写入记忆。这一点是论文中最值得迁移到其他智能体系统的设计：用户可见输出和内部长期记忆的质量门槛不必相同。

6. 两种持久性查询

• 空间重访：给出先前场景、返回位置和目标相机，用场景记忆渲染参考，并将生成结果与目标图在共同可见区域比较。
• 历史事件重演：给出先前事件和时间区间，从事件记忆取回动态证据，再与场景参考合并，从新相机视角生成同一事件。

前者检验静态几何是否仍可访问，后者检验动态事件是否仍可按时间访问。二者把笼统的“长视频一致性”拆成了更可诊断的问题。

实验设计

标准多镜头基准

论文采用 VBench、ST-Bench、ViStory-Self 和 ViStory-Cross：

• VBench 更偏局部画质、主体与背景一致性、闪烁、运动平滑和动态程度；
• ST-Bench 同时衡量美学、提示遵循及跨镜头一致性；
• ViStory-Self 衡量单个故事内的身份、外观和时间一致性；
• ViStory-Cross 衡量跨镜头身份、外观和场景一致性。

对比方法包括 I2V Extension、VGoT、Mora、MovieAgent 和 ReCA。每个生成器分组内共享生成骨干、提示包、时长预算和聚合方式，这使“智能体状态机制”的比较相对干净。

直接诊断与受控实验

空间重访使用共同可见区域上的 PSNR_C、SSIM_C 和 LPIPS_C。事件重演没有同步的目标视频，因此使用固定 VLM 裁判，依据来源事件帧、事件描述、目标相机和生成片段，评价事件身份、动作与状态、时间顺序、角色与物体、视角实现五项。

论文还固定 Wan 3.0，分别改变记忆内容、编译器、观测验证、状态写回检查，并测试容量、更新频率、状态陈旧度和写入严格程度。人评则隐藏方法名称，让评审观看完整长视频，以五分制评价六个维度。

主要实验结果

1. 四种生成器上的综合分数均为组内最高

Wan 2.7 的结果尤其重要：ATAS 没有拿到局部 VBench 第一，却仍在跨镜头指标上获胜。这说明它的主要作用确实更像“连续性状态层”，而不是改善每一帧的基础渲染质量。

2. 空间重访在三项指标上都最好

ATAS 不仅超过多镜头智能体，也超过参与比较的 3D 引导方法。三项指标方向一致，为“共享场景坐标有助于返回视角恢复”提供了直接证据。

3. 事件重演领先三项，但动作状态仍是短板

ATAS 在事件身份、时间顺序和视角实现上分别达到 0.750、0.688、0.650，均为最高；角色与物体一致性 0.917，与 ReCA 并列。动作与状态只有 0.688，略低于 ReCA 的 0.700。

这组结果需要精确解读：ATAS 更擅长找到“哪一次事件”和“应从哪个视角重拍”，但并未完全解决动作轨迹与物体状态的精确复现。事件记忆目前更像带时空索引的生成参考，而不是可确定回放的动态模拟器。

4. 消融显示场景记忆和事件记忆各司其职

静态场景记忆主要改善空间距离和跨镜头一致性；加入事件记忆后，事件重演从 0.585 大幅升到 0.728。这与论文提出的静态/动态分治相吻合，而不是所有增益都来自更长的帧历史。

组件消融也显示，递归编译器并非装饰：加入场景和事件解析后，事件分数从 0.441 到 0.508；再加入递归编译，直接升到 0.711。有了结构化记忆，还必须把剧本请求准确落到地点、相机和时间，记忆才真正可用。

5. 写入门控存在“太松”和“太严”两种失败

宽松门槛让错误观测污染状态；严格门槛又让系统缺少足够证据。默认阈值在本实验上取得最好平衡，但论文没有证明该阈值能跨生成器、题材和镜头难度通用。更合理的生产方向可能是让准入置信度随场景风险和观测类型动态变化。

6. 人类评价可见提升，但全局叙事仍弱

ATAS 在视觉吸引力、剧本忠实度、角色一致性、背景一致性、物理规律和叙事连贯性六项人评上均为最高。较强的项目是剧本忠实度 4.40、角色一致性 4.22、视觉吸引力 4.10；较弱的是背景一致性 3.62 和叙事连贯性 3.77。

评分至少为 4 的比例，ATAS 在六项中为 57%–95%，最强基线 ReCA 为 14%–64%。评审一致性系数为 0.58–0.72，说明趋势并非来自单一不稳定维度。不过自动诊断与人评的相关系数仅约 0.41–0.61，仍远低于人类之间 0.67–0.80 的上限，因此不能用自动分数替代完整人评。

7. 更少重试不等于更少总计算

完整记忆把每镜头平均重试次数从 1.00 降到 0.54，重试调整后的交付时间从 359 秒降到 339 秒；但单故事总运行时间从 51.9 分钟升到 64.9 分钟，吞吐从每小时 7.28 个镜头降到 6.21 个，记忆处理开销达到每镜头 98 秒。

换言之，ATAS 用额外的重建、注册、查询和状态管理减少了失败候选，却没有降低总算力消耗。它优化的是“得到可用连续镜头的过程”，不是纯粹的端到端生成速度。

如何理解这篇论文

世界状态是一种外部、显式、带版本的生成记忆

ATAS 的记忆不是把更多 token 塞进上下文，也不是让基础模型在隐藏状态里自行记住过去。它把证据显式存放在外部系统中，并要求每次读取带场景、相机、事件和时间条件，每次写入带来源和父状态版本。

这让系统更可审计：当后续镜头出错时，可以区分是剧本编译错误、检索错误、视频生成错误、几何注册错误，还是状态准入错误。它也让“记忆污染”从抽象风险变成可控制的工程接口。

它更接近视频生产操作系统，而不是新的视频基础模型

ATAS 本身不替代 MiniMax-H3 或 Wan，而是协调短视频生成器、几何重建、分割、语言模型和验证器。开源仓库也采用客户端与 GPU 几何服务分离的结构。这意味着论文的价值更偏系统架构：为长视频提供状态、查询、事务式写回和恢复机制。

“可寻址”比“上下文很长”更关键

单纯保留更多历史帧并不能保证系统拿到正确地点和正确时刻。ATAS 的关键是把过去组织成两个索引空间：场景坐标负责 where，事件区间负责 when。这比增加上下文长度更有针对性，也解释了为什么场景记忆和事件记忆在消融中改善不同指标。

局限与审慎解读

• 事件重演没有同步目标视频。 五项事件指标来自固定 VLM 裁判对来源证据和生成片段的判断，适合评估“是否像同一事件”，却不能证明像素级或动力学级重建准确。
• 几何链路可能累积误差。 每个写回都依赖重建、动态区域排除和坐标注册。状态越长，早期小误差越可能影响后续渲染；论文展示门控能缓解污染，但没有给出极长序列的误差上界。
• 状态会持续膨胀。 报告的场景规模从 3,354 万增长到 4,960 万，存储从 0.95 GB 增到 2.44 GB，查询与更新时间从 93.0 秒增到 103.5 秒。样本终点平均只有 6.9 个已处理镜头，尚不足以说明电影级规模的增长规律。
• 记忆陈旧度仍明显影响质量。 距离最近更新达到五个以上镜头时，C-Top10 从 0.736 降到 0.651，事件分数从 0.762 降到 0.678，LPIPS_C 从 0.276 恶化到 0.306。持久状态并不等于永久准确状态。
• 总计算与系统复杂度上升。 完整状态降低重试却增加总运行时间，并引入几何 GPU 服务、外部生成 API、状态存储和多个审查环节；部署成本不能只看最终质量分数。
• 对比公平性仍有边界。 同一骨干分组内条件匹配较好，但不同方法对参考证据和智能体编排的利用方式不完全相同；自动指标本身也可能偏好某类视觉连续性。
• 人评规模披露不够完整。 论文说明了匿名、随机顺序、整片观看和一致性系数，却未在正文中清晰给出评审人数、样本分配和文化背景等细节，难以完整评估统计外推性。
• 缺少复杂开放世界叙事。 展示案例以住宅、商店等少量房间和可辨识物体状态为主。高速运动、多角色遮挡、镜面、天气、破坏性变化和大范围场景切换可能显著提高注册与事件绑定难度。
• 状态检查并非事实验证。 一个观测能注册到坐标系且来源合法，不代表其叙事事实或物理变化一定正确。错误但几何自洽的内容仍可能被写入记忆。
• 目前是 arXiv v1。 结果尚未经过同行评审，开源仓库当前也较新，长期复现、稳定性和第三方比较仍待观察。

应用影响

影视预演与分镜迭代

导演可以多次返回同一布景、调整相机或重拍早先动作，而不必每次从零描述房间。结构化场景状态尤其适合 previsualization，因为它更关注布局、机位和动作连续性，而非最终成片的每个像素。

互动叙事与游戏过场

用户可能改变剧情顺序，要求返回旧地点或从新视角查看既有事件。按场景和时间查询的记忆比线性历史更适合分支故事。但若用户行为改变世界，事件状态还需要加入分支版本、冲突合并和回滚，而论文当前主要处理线性请求序列。

连续广告、剧集和角色内容

品牌资产、固定布景和角色外观需要跨批次保持一致。ATAS 展示了外部世界状态能跨镜头复用证据，不过生产环境还需解决版权素材隔离、状态生命周期、人工校对和高分辨率资产管理。

机器人与具身智能的启发

论文目标是视频生成，不是机器人控制，但“静态场景图 + 时间索引事件 + 验证后写回”同样适合具身智能的长期记忆。真正迁移时必须换成传感器观测和物理状态估计，不能把生成片段当作真实环境证据。

对通用智能体记忆的启示

ATAS 最可迁移的原则有三条：读取要可寻址，写入要有准入门槛，用户可见结果与长期记忆更新要解耦。代码智能体、研究智能体或企业流程智能体也可能产生“这次结果可交付，但不够可靠，不能沉淀为未来事实”的中间状态。

相关工作

视频生成与长视频扩展

Video Diffusion Models、Make-A-Video、Lumiere、VideoPoet、CogVideoX 等推进了短视频或更长时间覆盖；Gen-L-Video、Video-Infinity、StreamingT2V 等通过协同去噪、分布式生成或延展机制拉长视频。它们主要解决渲染质量与局部时间延续，未必提供跨非相邻镜头的显式空间和事件索引。

智能体视频生成

VGoT、Mora、MovieAgent 与 ReCA 等系统引入脚本解析、镜头规划、参考选择和审查。ATAS 与它们的主要差别不是“有没有智能体”，而是是否把跨镜头历史组织成统一坐标下的静态证据与按时间寻址的动态证据，并为状态写回设置独立决策。

显式空间记忆与新视角合成

3D Gaussian Splatting、VGGT、CUT3R 以及 FlexWorld、ViewCrafter 等工作说明，显式几何有助于场景重建、新视角生成和空间记忆。ATAS 将这类能力放进逐镜头的 plan-act-observe 闭环，并额外加入事件记忆；其重点不是单次新视角合成，而是让空间证据服务持续发展的故事。

记忆系统与世界模型

广义世界模型试图学习环境随动作演化的规律。ATAS 更谨慎：它没有声称学会统一动力学，而是维护已观测、已注册、已验证的证据，并用生成器补全新镜头。因此它是“世界状态中心”的生成系统，不应等同于能反事实推演的完整世界模型。

总结

ATAS 给出了一个清晰且工程化的判断：长视频连续性的核心不是无限延长单次生成，而是让镜头共享一个可查询的世界，并控制哪些生成结果有资格改变这个世界。场景记忆解决空间重访，事件记忆解决历史事件重演，递归编译器把剧本落到可执行的时空请求，验证门控则减少生成错误进入长期状态。

实验最有说服力的部分是跨四种生成器的一致性提升、空间重访的三项领先、静态与动态记忆的差异化消融，以及写入过松和过严都会退化的结果。最需要保留的警惕则是：事件评测依赖 VLM 裁判，状态在不足十个镜头时已增长到 GB 级，总运行时间上升，且状态陈旧和注册误差仍会累积。

因此，ATAS 不是“长视频问题已解决”，而是把问题从模糊的提示词连续性推进到可设计、可测量的状态管理层。对下一代视频智能体而言，这可能比再增加一段上下文更重要。

参考资料

1. Hugging Face Papers：Any Time, Any Space
2. arXiv 摘要页
3. arXiv HTML 全文
4. arXiv PDF 全文
5. ATAS 项目主页
6. ATAS 开源代码