孪生世界动态仿真新突破！北大发布RainyGS：降雨/洪涝/风速精准可控

TsFHNRKYfeiZ

神经辐射场（NeRF）及三维高斯泼溅（3D Gaussian Splatting，3DGS）虽能构建静态数字孪生，却无法模拟真实世界的动态，不仅限制了虚拟现实和混合现实的真实感，也是智能训练与Real2Sim2Real范式突破的关键瓶颈。
如何让数字孪生世界具备真实物理规律，实现可预测、可操控的动态环境，是自动驾驶、具身智能等空间智能应用亟待解决的核心挑战。
为此，北京大学陈宝权教授研究团队提出RainyGS技术（合作者为楚梦渝、陈文拯助理教授，博士生戴启宇、倪星宇和本科生沈千帆），探索了一条通向「孪生世界动态仿真」的新路径。
目前，该成果已被CVPR 2025接收。

论文地址：https://arxiv.org/abs/2503.21442
项目主页（内附原始高质量视频）：https://pku-vcl-geometry.github.io/RainyGS/
RainyGS基于高精度表面表达，统一构建孪生世界的几何重建、高效渲染、准确仿真及精准交互，奠定了以高质量表面表达为核心的孪生世界动态场景生成新范式。
以降雨、洪涝等复杂流体现象为案例，RainyGS借助3DGS的高效表面表达，融合物理仿真与实时渲染，实现了「从静态到动态」的无缝扩展，不仅能够为重建场景带来逼真的动态雨效，精准呈现雨滴轨迹、水面波动、光线折射等物理现象，还支持用户「动态调节雨量、风速、流向」，创造从细雨朦胧到暴雨倾盆的可控动态环境。
RainyGS并不仅仅是面向增强现实的动态场景生成技术，同时也代表了Real2Sim2Real的重要进展：RainyGS让数字孪生世界不仅能「看见现实，呈现现实」，更能感知并预测物理变化，突破了传统仿真工具在场景逼真多样、高效性与交互性等方面的局限。
以自动驾驶为例，RainyGS能在真实场景里自动生成高逼真的雨天、洪涝等训练数据，并提供完备的时空标签，为无人驾驶系统在多变天气下的安全性与可靠性提升提供坚实支撑。
此外，RainyGS还能为具身智能体提供更加丰富的动态交互训练环境，推动空间智能技术的进一步发展，为自动驾驶、机器人、智慧城市等「空间智能」领域带来全新可能。

从多视角图像重建高保真的三维场景，RainyGS能够高效生成具有高真实感的动态下雨效果
为什么「动态」这么难？

在孪生场景中添加下雨等动态现象听起来似乎简单，但实际却极具挑战。
日常的降雨现象包含雨滴在空中降落、在积水表面形成涟漪、水面层层波动等动态，包含湿润场景的反射折射等视觉现象，这些都意味着大量的计算。
当前，部分工作选择将3DGS同传统的三维空间仿真技术相融合，这往往意味着要将3DGS的表面表达转化为只含几何信息的三维空间表达（如Grid体素网格、四面体mesh网格、粒子系统等等）来仿真，而渲染时又需要将数据转换回去。
这一数据的往复转换正是其中的瓶颈：为了保证三维空间仿真能够高效完成，3DGS高精度表面表达往往被转换为低分辨率的全空间表达，导致几何精度下降但计算资源飙升。
这种精度「降低」但数据量「升维」的操作不仅大量消耗计算时间空间，更因插值误差破坏信息一致性：高精度表面信息被浪费，低质量插值数据引入误差，最终让动态和渲染呈现的真实感降低，使得许多工作无法同时满足高保真和实时性需求。
RainyGS的破局之道：基于表面统一表达物理和外观

RainyGS的创新之处在于，它以表面表达为核心，巧妙融合了几何重建、仿真与渲染，在场景的多种计算之间，实现了无冗余且无精度损失的信息传递。
借助表面表达，RainyGS无需复杂的人工干预，也不额外引入信息插值和误差，完美的保留了3DGS的像素级精度，又规避全局空间仿真的计算灾难。
这种「从图像到GS表面，从GS表面到表面物理计算」的表达闭环，突破性地实现了动态雨水的高效高保真呈现。
现有大模型等视频生成技术虽能合成逼真雨景，却常常牺牲物理规则——雨滴穿透墙体、积水无视重力、被遮挡物体「闪烁」跳变。
RainyGS的动态效果与输入场景的几何、材质严格绑定：雨滴在积水表面撞出波纹、水流沿地面坡度自然扩散、湿润表面折射率随水深渐变。
这种基于表面表达的精细物理计算，使虚拟降雨的每一帧都具备可测量的真实性与三维一致性，为自动驾驶仿真、灾害推演等场景提供像素级可信的动态孪生。

与视频生成大模型的对比。现有的视频编辑方法（如 Runway Video2Video）通常难以保持输入场景的几何结构，并且缺乏跨视角的三维一致性（例如，被遮挡区域在重新出现时可能发生变化），生成的下雨效果也难以保证物理真实。相比之下，RainyGS 不仅能够保持输入几何结构及其跨视角一致，还能生成逼真且动态变化的下雨效果

利用基于表面的表达统一场景建模和动态生成的方法论。物理现象的本质是相互作用，多种相互作用（包括可形变固体和流体等等）可以等效或近似为能通过边界方程加以控制的表面效应。而边界方程可以自然地通过高斯椭球中提取而来的表面点云离散化
值得一提的是，RainyGS所采用的以表面表达统一渲染、仿真与几何建模技术，其背后有坚实的理论支撑，具备较好的普适性，有潜力支撑大量动态现象的呈现。
物理动态主要描述的是物质间的相互作用规律，而这些相互作用往往通过表面来体现，如固体的形变、流体的波动等等表面效应，可以利用几何和物理推导，精确地使用边界方程进行描述。
通过离散和求解表面方程，计算机图形学领域已研究有一系列以表面为核心的仿真算法，如可变形物体的静力学仿真、动力学仿真，如流体的表面张力构形、水波波动等等。
这种以表面来仿真、表达世界的范式来源于表面作为物理交互「第一现场」的本质属性，与高斯表达完美契合，蕴含着高效统一多种动态及呈现的巨大潜力。
RainyGS：几何、光照与物理动态的完美结合


RainyGS 框架示意图。首先通过输入多视角图像，对场景的外观与几何进行高保真重建。随后生成高度图，并利用浅水模拟实现动态下雨效果（包括积水、涟漪、雨线等）。接着，在 3DGS 光栅化渲染的深度图、法线图等屏幕空间贴图的基础上，采用高效的屏幕空间光线追踪来模拟反射与折射。最后，基于图像的渲染（IBR）将各分量进行混合，生成逼真、动态的降雨场景
RainyGS的核心在于将基于物理的雨滴和浅水模拟技术与快速的高斯泼溅渲染框架相结合，实现了真实场景中动态雨效的高质量呈现。其核心技术架构包含三大关键模块：
紧致的信息提取
基于高斯表面投影实现场景高度场的无损提取, 服务于后续高精度的物理仿真；
基于高斯表达高效渲染几何属性，如场景的深度图、法向图，服务于后续高保真的屏幕渲染；
相比于其他复合表达的工作，我们的数据表达做到了完美契合，既保证转换信息无冗余，如仅提取二维高度场而非三维空间几何，同时保证数据转换中精度一致，减少误差。
精准的物理建模
基于浅水波方程（SWE）精确模拟雨滴与地面的动态交互；
实时计算雨滴轨迹、涟漪扩散等复杂物理现象；
支持动态调整降雨强度，从朦胧细雨到倾盆暴雨无缝切换。
高效的外观渲染
引入屏幕空间光线追踪技术，精准还原水面反射与折射效果；
依托三维高斯泼溅（3DGS）和基于图像的渲染（IBR）框架实现每秒30帧的实时渲染。
这种以表面表达为核心，支撑「精准建模+物理模拟+实时渲染」的创新架构，既突破了传统NeRF/3DGS在动态上的局限，又避免了纯物理模拟对专业建模的依赖，达到实时且准确的仿真和渲染，大大提升场景的细节和沉浸感，为数字孪生、VR/AR、大模型及智能体训练等任务提供了全新的动态解决方案。
逼真雨效，交互可控
RainyGS在MipNeRF360数据集以及Tanks and Temples数据集的多个真实世界场景中进行了验证。实验结果表明，RainyGS不仅在视觉上高度逼真，还能够保持物理上的准确性，同时实现高效的实时性能。
与基于视频的雨效合成方法相比，RainyGS能够更好地保持场景的三维一致性，避免了输入场景结构的改变，并且能够生成更加真实和动态的雨线、积水和涟漪效果。
此外，RainyGS还允许用户灵活调整雨的强度，从「小雨」到「暴雨」，轻松满足不同场景的需求。
本文视频有一定压缩，欢迎查看项目网站浏览高清降雨效果:https://pku-vcl-geometry.github.io/RainyGS/

MipNeRF360 - Treehill动态降雨生成结果

MipNeRF360 - Bicycle动态降雨生成结果

Tanks and Temples - Family动态降雨生成结果

Tanks and Temples - Truck动态降雨生成结果

下雨进程示意对降雨强度、水位（在图中以 [ ] 表示）以及光照等要素的可控调节
开启现实场景动态仿真新纪元

RainyGS的提出为多个领域带来了新的机遇。在游戏开发中，它可以为图片重建的虚拟世界增添更加逼真的天气效果，虚实结合，提升玩家的沉浸感。
在自动驾驶模拟中，RainyGS能够为训练场景添加极端天气数据，帮助自动驾驶系统更好地应对复杂环境，提高安全性。


Waymo动态降雨生成结果
RainyGS通过创新性融合物理模拟与高效渲染技术，实现高度逼真的动态降雨效果。其核心优势在于可扩展的架构设计——基于新型高斯表示的物理引擎不仅能精准模拟雨滴轨迹、水面涟漪等复杂流体现象，还构建了一个基于统一紧致表达的框架，支持向多物理场耦合扩展，如人体动态、布料模拟、风雪天气等。
研究团队正基于这一框架开发更丰富的动态交互系统，致力于实现物理精确的交互式建模。该技术仍在持续演进中，但这一基于高斯表示的动态建模体系已展现出重塑数字孪生和虚拟训练环境技术标准的潜力。
相关研究有望推动数字孪生世界迈向更逼真、更复杂的时空动态场景，将进一步拓展Real2Sim2Real的无限可能，助力智能体训练，推动空间智能的发展。