这项由新加坡南洋理工大学S-Lab实验室的曹宇康博士联合美国得州农工大学、香港科技大学等多个顶尖研究机构完成的综合性研究，于2025年7月28日发表在计算机视觉领域的顶级期刊arXiv预印本上。有兴趣深入了解的读者可以通过论文编号arXiv:2507.21045v1访问完整研究内容。这项研究首次建立了4D空间智能重建的完整分级体系，为从二维视频中构建三维动态世界提供了全新的理论框架。
想象一下，当你观看一部电影时，你的大脑能够自动理解画面中的物体距离、人物动作，甚至预测下一秒会发生什么。现在，科学家们正在尝试让计算机也具备这种神奇的能力——从一段普通的视频中，不仅要看懂其中的内容，还要完整重建出一个可以互动的三维世界。这就是4D空间智能重建技术要解决的核心问题。
在这个领域，研究者们就像建筑师一样，需要从平面的建筑图纸（二维视频）中建造出完整的建筑物（三维世界），并且这个建筑物还要能够随时间变化和运动。这听起来简单，但实际操作起来却充满挑战。以往的方法就像盲人摸象，每个研究团队只关注其中某个部分，缺乏一个统一的框架来指导整个领域的发展。
曹宇康博士带领的这个国际研究团队意识到了这个问题。他们发现，尽管近年来相关技术发展迅猛，但学术界缺乏一个清晰的路线图来解释这个复杂系统是如何一步步构建起来的。就像烹饪一道复杂菜肴，你需要知道先放什么后放什么，每个步骤的作用是什么，最终才能做出令人满意的美食。
研究团队通过分析大量已有研究，创造性地提出了一个五层级的智能等级系统。这个系统就像攀登一座五层楼的大楼，每一层都有特定的功能，只有下层搭建稳固了，上层才能顺利建设。
一、第一层级：建立空间感知的基础——深度、姿态和追踪
在这个体系的最底层，计算机需要学会最基本的空间感知能力，就像婴儿刚出生时需要先学会辨别距离和方向一样。这一层主要解决三个基本问题：物体离镜头有多远（深度估计）、摄像机在什么位置以什么角度拍摄（相机姿态估计），以及画面中的物体是如何移动的（3D追踪）。
深度估计技术就像人类的双眼视觉系统。当你看向远方的山峰时，你的大脑会自动判断山峰比眼前的树木更远。计算机也需要从单个摄像头拍摄的平面画面中推断出这种深度信息。早期的方法需要大量计算，就像一个人要仔细测量每个物体的位置才能判断远近。但随着深度学习技术的发展，现在的系统可以像训练有素的艺术家一样，仅凭经验就能快速准确地判断画面的空间层次。
特别值得一提的是，最新的方法如DepthCrafter和ChronoDepth利用了视频扩散模型的强大能力。这些模型就像拥有了丰富经验的老师傅，通过学习大量视频样本，能够生成时间上连贯一致的深度序列。这意味着不仅单帧画面的深度判断准确，而且整个视频序列中物体的深度变化也符合物理规律。
相机姿态估计则解决了另一个基础问题：摄像机本身在空间中的位置和朝向。这就像你在一个陌生房间里醒来，需要知道自己站在哪里、面朝哪个方向一样重要。传统的视觉里程计算法像是一个细心的记录员，通过追踪画面中的特征点来推算相机的运动轨迹。而现代的学习方法则更像是一个经验丰富的导航员，能够从视觉线索中直接推断出位置信息。
3D追踪技术要解决的是物体运动的问题。当你看着一个飞舞的蝴蝶时，你的眼睛会自然地跟踪它的运动轨迹。计算机的3D追踪系统需要在三维空间中持续定位和跟踪移动物体。OmniMotion等方法通过建立准3D规范体积来实现这一功能，就像在三维空间中铺设了一张无形的网，能够捕捉和记录每个物体的运动轨迹。
最近出现的统一建模方法试图将这三个基本任务整合在一起解决。DUSt3R等方法就像是多面手工匠，能够同时处理深度、姿态和点映射的估计。这种统一方法的优势在于不同任务之间可以相互促进和纠错，就像一个乐队中的不同乐器相互配合，最终演奏出和谐的乐章。VGGT更是将这一思想推向极致，采用端到端的transformer架构，能够在几秒钟内完成复杂的三维属性估计。
二、第二层级：构建场景的基本组件——物体、人物和建筑
在进入具体方法之前，我们需要理解不同三维表示方法的特点。点云就像一堆散落的珍珠，每个点都记录着位置和颜色信息，虽然简单直观，但缺乏连续性。网格表示则像是用三角形拼接起来的艺术品，能够精确描述物体表面，适合实时渲染，但构建复杂形状时会变得繁琐。神经辐射场（NeRF）革命性地提出了用神经网络来表示三维场景的方法，就像用数学公式来描述一个完整的世界，能够产生照片般逼真的渲染结果。3D高斯点云（3DGS）则在效率和质量之间找到了平衡点，将场景表示为一系列三维高斯分布，既能快速渲染又能保持高质量效果。
小规模三维重建主要关注单个物体或局部场景的精确还原。传统方法通常依赖结构光运动（SfM）和多视角立体视觉（MVS）技术，就像考古学家通过多个角度的照片来重建古代文物的完整形状。这些方法虽然可靠，但往往需要大量计算且对噪声敏感。
基于NeRF的表面重建方法如NeuS和VolSDF通过同时优化有符号距离函数和辐射场，能够提取出高质量的网格表面。这就像雕塑家先在心中构想完整的作品形象，然后逐步雕琢出精美的细节。而基于3DGS的方法如2DGS和SuGaR则通过不同的策略来获得网格表面，有的采用多视角深度融合，有的将高斯函数集成到SDF场中。
相比之下，大规模三维重建面临着更多挑战。NeRF++首先解决了无界场景的问题，通过将辐射场分解为有界前景和反球面背景组件，实现了超越摄像机视锥范围的渲染。Mip-NeRF360进一步通过锥形采样和非线性失真场解决了混叠和尺度不平衡问题，就像给相机装上了超广角镜头和防畸变系统。
面对大规模场景，分区策略成为关键解决方案。Block-NeRF和MegaNeRF将场景分解为多个独立的局部网络，就像城市规划师将整个城市划分为不同街区分别管理。这种方法不仅提高了训练效率，还支持街区级别的导航和探索。CityGS等方法更是采用分治训练和细节层次（LoD）策略，实现了大规模场景的实时渲染。
三、第三层级：捕捉时间维度——动态场景的4D重建
静态的三维重建就像博物馆里的雕塑作品，美丽但缺乏生命力。真正的世界是动态的，充满了运动和变化。第三层级的任务就是为三维世界添加时间维度，让静态场景变成会动的、有生命力的4D表现。
目前主要有两种思路来处理动态场景。第一种方法是建立一个静态的"标准模板"，然后学习这个模板随时间的变形规律，就像制作动画时先画出角色的标准姿势，再让它按照剧本要求做出各种动作。D-NeRF开创了这一思路，通过学习变形场来描述场景的时间变化。
第二种方法则直接将时间作为额外的输入参数融入到三维表示中，相当于给每个三维点都标上时间戳，让系统知道在什么时候这个位置应该呈现什么状态。Neural Scene Flow Fields等方法采用了这种直接建模时间的策略，能够更自然地处理复杂的动态现象。
在动态表面重建方面，研究者们面临着更大的挑战。传统方法往往依赖预定义的物体模板，就像给演员准备好戏服，然后让他们按照剧本表演。但这种方法的局限性很明显——现实世界中的运动往往比预设的模板复杂得多。
现代的方法如LASR和ViSER采用可微分渲染技术，能够直接从视频中学习物体的形状和运动。这就像让计算机观察真实演员的表演，然后学会模仿他们的每一个动作细节。BANMo、PPR等方法进一步将这种思路扩展到铰接物体，能够处理具有关节结构的复杂运动。
在新视角合成方面，研究的目标是实现"子弹时间"效果——就像《黑客帝国》中的经典镜头，观众可以在时间暂停的情况下自由切换观察角度。基于NeRF的方法通过场景特定的优化来建模非刚性运动、动态外观和复杂光照效果。而基于3DGS的方法则利用显式点表示的优势，能够更高效地编码动态几何和外观变化。
人体中心的动态建模是这一层级的重要分支。SMPL参数模型为人体建模提供了标准框架，通过姿态参数和形状参数来描述不同的人体状态。SMPL就像是人体的"通用模板"，通过调整参数可以生成不同体型、不同姿势的人体模型。
早期的人体网格恢复方法通常采用逐帧处理的策略，就像拍摄一组连续照片然后逐张分析。但这种方法容易产生时间不一致性。后来的视频基础方法通过整合时间信息，使用循环网络、变分自编码器等技术来保持运动的连贯性。
自中心视角的运动追踪带来了新的挑战和机遇。当摄像头安装在人的头部时，视野范围有限且运动复杂，就像戴着头盔的摩托车手试图观察自己的身体动作。但这种视角也提供了丰富的头部运动信息，可以作为全身运动生成的重要线索。一点追踪和三点追踪技术通过不同程度的约束信息来推断完整的身体姿态。
外观丰富的动态人体建模则追求更高的视觉真实感。VideoAvatar引入了规范空间映射的概念，将姿态估计与几何纹理学习解耦，这就像分别训练演员的动作表演和化妆造型，最后再组合出完整的角色形象。基于NeRF和3DGS的方法进一步提升了渲染质量，能够生成电影级别的视觉效果。
四、第四层级：理解交互关系——场景组件间的相互作用
前面三个层级解决了"看到什么"和"如何运动"的问题，第四层级要解决的是"为什么这样运动"——也就是场景中不同元素之间的交互关系。这就像从单纯观察演员的动作，发展到理解他们之间的对话和互动逻辑。
人往往是交互的中心，因此大部分研究都围绕人与环境的交互展开。这些交互可以分为三大类：人与物体的交互、人与场景的交互，以及人与人之间的交互。
人物交互重建是一个相对较新但快速发展的研究领域。早期研究主要受限于高质量3D交互数据的缺乏，研究者们不得不采用传统优化框架，通过启发式接触先验来重建人物空间关系。这就像考古学家根据有限的文物碎片来推测古代人的生活方式。
随着可扩展数据收集方法的出现，学习方法开始显示出显著优势。一些研究通过学习有符号距离场来建模物体与人体的接近程度，然后基于学习到的场进行后优化。这种方法就像先训练一个"空间感知专家"，让它学会判断人和物体之间的合理距离关系。
基于生成模型的方法如归一化流则学习人物空间排列的分布特征，通过输入视频条件来生成合理的交互配置。这种方法的优势在于能够缓解异常预测问题，就像有了一个经验丰富的导演，能够指导演员做出更自然的互动动作。
但传统方法的一个重要局限是对精确物体几何模板的依赖，这大大限制了它们在多样化场景中的应用。最新的方法如HDM和InterTrack通过扩散模型学习物体类别内的几何对应关系，实现了几何无关的3D交互点云重建，这就像从临摹特定物体发展到能够创作任意形状的艺术作品。
人场景交互的研究面临着更大的挑战，因为需要同时处理可移动物体和固定环境结构。早期方法专注于从图像帧估算人与静态场景的接触关系，但由于训练数据稀疏和3D场景几何不准确，效果有限。
为了解决数据规模和质量问题，一些研究构建了合成数据集。GTA-IM利用游戏引擎中的3D资产构建包含视频和伪3D标签的合成数据。CIRCLES通过VR应用将真实世界运动捕捉与数字环境集成。TRUMANS则在现实中复制3D场景资产。这些方法提供了更丰富准确的3D标签，就像为演员搭建了专业的拍摄场地。
然而，3D资产与真实环境之间仍存在显著差距。从真实世界视频联合重建人和动态场景仍然是一个极具挑战性的问题。SitComs3D针对电视节目的多镜头同场景特点，通过不同表示方式解耦人和场景。JOSH利用先进的低级3D属性预测模型，联合恢复人体运动、3D场景结构、相机姿态和接触关系，并通过基于物理的约束进行优化。
人人交互的建模同样充满挑战。早期的单目和稀疏多视角系统使用3D关键点热图进行多人姿态估计，但忽略了几何约束和物理接触，导致结果不够真实。
为解决这个问题，研究者们引入了实例级先验和几何碰撞损失来获得物理合理的多人交互。BUDDI和HumanInteraction进一步利用扩散模型和VQ-VAE等生成模型来建模交互先验，这为后续优化迭代提供了理想的初始估计。MultiPhys则采用了另一种策略，结合物理模拟器通过模仿学习框架在物理正确的运动空间中搜索最优策略。
外观丰富的人中心交互重建代表了这一领域的前沿发展。HOSNeRF通过扩展人体骨架来包含物体骨骼，允许模型处理接触引入的变形。其获取颜色和密度值的过程可以表示为一个条件函数，其中可学习的状态嵌入代表了规范空间中不同帧的物体状态。
其他方法进一步扩展了这一方向：NeuMan通过为人和场景训练独立的NeRF来实现解耦，提高了灵活性和场景组合能力；PPR结合可微分物理模拟与可微分渲染，通过坐标下降优化重建以提高真实感；RAC将方法泛化到动物和人类，通过学习固定骨长的一致骨架来实现。
自中心人中心交互的研究专注于从第一人称视角捕捉交互行为。这类视频独特地记录了佩戴者与物体、环境和其他人的交互，携带着丰富的动态世界信息。现有基准和模型主要关注手物交互，H2O等早期工作使用头戴RGB-D相机和多个第三人称相机捕捉自中心手物交互。HOI4D进一步扩大了自中心手物交互捕捉的规模，HOT3D则利用Project Aria眼镜和Quest 3头戴设备实现更精确的手和物体姿态标注。
五、第五层级：融入物理世界的规律——物理定律与约束
这一层级的重要性在具身AI和机器人应用中尤为突出。当我们希望机器人能够从观看人类行为的视频中学习技能时，重建的场景必须遵循重力、摩擦、碰撞等物理规律，否则机器人就无法将学到的动作迁移到真实世界中。
基于物理的角色动画是这一领域的重要分支。传统的角色动画制作就像木偶戏表演，动画师需要手动控制每个关节的运动。而基于物理的方法则像是训练真实的运动员，让虚拟角色在符合物理规律的约束下自主学习各种动作技能。
DeepMimic开创了通过直接轨迹跟踪来学习动态运动的方法，就像让学生模仿老师的每一个动作细节。AMP进一步采用生成对抗框架，通过判别器来评判运动的真实性，引导控制器在训练过程中产生更自然的动作。但AMP需要为每个任务训练单独的策略，这就像为每项运动都需要专门的教练。
为了提取更通用的运动先验，ASE、CALM、ControlVAE等方法试图学习可以跨任务重用的运动表示。MaskedMimic引入了条件变分自编码器进行多任务学习，但在泛化到未见控制信号方面仍有困难。
文本驱动的控制方法代表了另一个重要发展方向。SuperPADL采用多阶段训练流程，结合强化学习和行为克隆来实现自然语言指导的角色行为。PDP使用扩散模型创建能够解释文本命令的多模态控制器，通过在训练期间注入噪声来提高鲁棒性。
分层控制框架试图解决文本驱动物理控制器在表达力和多样性方面的不足。这些方法将问题分解为高级规划阶段和低级控制器，规划器可能生成轨迹、路径点或部分身体目标，然后由强化学习策略进行跟踪。CLoSD结合了基于扩散的运动学规划器和基于物理的跟踪器，但高级运动学规划和低级物理可行性之间的不匹配常常导致足部滑动或抖动等问题。
人物交互的物理建模面临额外的复杂性，需要精细的接触控制、多体协调和真实的物理响应。早期系统使用手工状态机或倒立摆等模型来模拟跑步或跳跃等行为。更近期的工作使用深度强化学习来建模更多样化的交互，包括体育运动和工具使用。
接触感知奖励的引入显著改善了复杂交互任务的性能。这种以接触为中心的视角允许跨广泛交互场景的统一训练，无需手工制作的奖励或单独的流水线，就像训练出了一个通用的"接触专家"。
物理可信的3D场景重建是另一个重要研究方向。PhysicsNeRF通过注入显式物理指导——包括深度排序、稀疏性和跨视角对齐损失，实现了即使在极度稀疏的多视角输入下也能获得稳定且物理一致的几何形状。
PBR-NeRF等逆向渲染流水线将神经辐射场与基于物理的渲染先验相结合，能够联合优化几何、光照和空间变化材质，有效缓解了原始NeRF中物理上不可能的反照率-光照纠缠问题。
CAST首先从单张RGB图像检索CAD代理，然后应用物理感知校正步骤，严格执行支撑、非穿透和物体关系约束，产生接触一致的布局。PhyRecon提出利用模拟器的可微分梯度来改善重建场景组件的物理可信度。
Aug-NeRF采用三级物理基础增强作为训练过程中的正则化策略，显著减少了视角不一致的浮动物并增强了泛化能力。平面反射感知NeRF等专门方法通过显式建模二次反射光线来消除玻璃和镜子等反射表面后面经常出现的幻觉浮动物。
这些技术的发展为构建可用于机器人训练、虚拟现实交互和物理模拟的高质量4D环境奠定了基础。当虚拟世界能够准确模拟物理规律时，我们就可以在其中进行各种实验和训练，然后将结果迁移到真实世界中。
目前的技术发展还面临着许多挑战。在第一层级，处理遮挡、动态物体运动和非朗伯表面仍然困难，许多方法还需要后处理步骤或手工调参。第二层级缺乏通用最优的场景表示，在无界或无纹理区域恢复精细几何仍然困难。第三层级的前馈方法在速度-泛化-质量之间存在权衡，复杂动态现象的处理仍是未解决问题。第四层级的方法常常需要精确物体模板，缺乏大规模高质量数据集。第五层级的强化学习方法样本效率低，计算成本高，泛化能力有限。
但这些挑战也指明了未来的发展方向。随着世界模型、视觉-语言基础模型和多模态数据收集技术的发展，4D空间智能有望在不久的将来实现重大突破。这不仅会革命性地改变电影制作、游戏开发和虚拟现实体验，更会为机器人技术、自动驾驶和具身AI开辟全新的可能性。
说到底，4D空间智能重建技术的最终目标是让计算机能够像人类一样理解和重建我们生活的这个三维动态世界。虽然距离这个目标还有不少路要走，但这项研究为我们提供了清晰的路线图。每一个层级的突破都会带来实际应用的进步，而五个层级的协同发展最终将实现真正智能的4D空间理解系统。对于普通人来说，这意味着未来我们可能只需要用手机拍摄一段视频，就能生成一个完整的、可交互的、符合物理规律的虚拟世界——这种技术将彻底改变我们创造、分享和体验数字内容的方式。
Q&A
Q2：这个五层级体系有什么实际应用价值？ A：这个体系为4D重建技术提供了清晰发展路径，每个层级都有具体应用：第一层用于AR/VR定位，第二层用于三维建模，第三层用于动态场景生成，第四层用于交互系统，第五层用于机器人训练。整合后可实现电影特效、游戏制作、虚拟现实等应用的重大突破。
Q3：普通人何时能够使用这些技术？ A：部分基础功能已经在商用产品中出现，如手机的人像模式、AR滤镜等。完整的4D重建功能预计在3-5年内会有消费级产品，届时用户可能只需拍摄一段视频就能生成完整的三维场景，用于社交分享、教育培训或娱乐体验。
