




场景表示:用3D 高斯椭球(Splat)作为基本单元,每个 Splat 包含:
几何:3D 位置、缩放、旋转(决定空间形态)
外观:RGB 颜色、不透明度、视角相关颜色系数(决定视觉效果)
优化:不确定性权重、梯度等(用于可微训练)
渲染 pipeline:可微光栅化(无神经网络推理)→ 高斯投影到 2D 屏幕→ 按深度排序→ 混合颜色与透明度→ 生成新视角图像
训练:从多视角图像 / 视频出发,通过可微渲染 + 光度损失(像素级误差)优化所有高斯参数,收敛快(小时级)、显存占用低(<200MB)、1080p@60fps 实时渲染。
| 技术 | 核心表示 | 渲染速度 | 重建质量 | 训练成本 | 编辑性 |
|---|---|---|---|---|---|
| NeRF | 神经辐射场(MLP) | 慢(秒 / 帧) | 高 | 高(天级) | 差 |
| 传统网格 | 三角面片 | 快 | 中(细节丢失) | 中(需拓扑重建) | 中 |
| 3D 高斯泼溅 | 可微高斯椭球 | 极快(实时) | 高(照片级) | 低(小时级) | 强(2024-2025 突破) |
可微高斯光栅化:直接对高斯进行投影、排序、混合,支持端到端梯度回传
自适应高斯优化:动态分裂 / 合并高斯,平衡细节与效率
视角相关颜色:解决高光、反射等视角依赖问题
稀疏点云初始化:用 COLMAP/SfM 稀疏点加速收敛,减少训练时间
4D Gaussian Splatting:引入时间维度,建模动态场景(人物、流体、车辆),支持实时动态新视角合成与视频编辑
Dynamic 3D Gaussians:局部刚性约束 + 变形场,实现无对应点 / 光流的稠密 6DOF 跟踪与重建,适用于人体、动物等非刚性物体
Street Gaussians:面向城市动态场景(车流、行人),高效建模大规模动态环境,支持自动驾驶仿真
TexFusion(CVPR 2024 Oral):结合 Stable Diffusion,用一致性注意力机制生成视角一致的高质量纹理,摆脱颜色回归限制,支持风格化与细节增强
GARField(CVPR 2024):每个高斯绑定局部纹理小图(mini patch),神经纹理网络动态采样,兼顾 NeRF 的细节与 GS 的实时性
TexGaussian(ICLR 2024):多尺度纹理编码,支持跨视角纹理融合与可控风格迁移,提升编辑性
Editable 3D Gaussian Splatting(SIGGRAPH Asia 2024):支持颜色 / 纹理局部替换、图像驱动修改(人物换衣、面部贴图),保留可微性,端到端训练
高斯分割与语义编辑:结合 SAM(Segment Anything Model)实现高斯分组、语义掩码编辑,支持物体删除 / 替换 / 添加
物理驱动编辑:支持碰撞、变形、光照修改,适用于游戏、仿真
Mip-Splatting:3D 平滑滤波解决抗锯齿,提升离群视角渲染质量
量化与稀疏化:高斯参数量化、动态剪枝,模型体积压缩 80%+,移动端 / Web 端实时运行
流式加载:支持大规模场景(城市、景区)的分块加载与渲染,解决显存瓶颈
文本驱动 3DGS 生成:结合文生图模型(SD/FLUX),从文本直接生成 3D 高斯场景
单视图 3DGS 重建:从单张图像生成完整 3D 高斯模型,降低数据门槛
高斯 + NeRF / 网格混合:优势互补,兼顾实时性与复杂材质(玻璃、金属)
AR/VR:实时三维重建、虚拟试衣、空间导航,低延迟、高画质,适配头显设备
数字孪生与测绘:大疆智图等工具已集成 3DGS,支持无人机航测、城市建模、文化遗产数字化(毫米级细节、透明材质还原),输出 PLY/3DTiles 等标准格式
影视与游戏:快速生成虚拟场景、角色,实时渲染预览,降低制作成本;支持动态场景与特效合成
自动驾驶与机器人:动态环境建模、仿真测试、SLAM,实时感知与定位
电商与元宇宙:商品 3D 展示、虚拟展厅,用户可自由视角浏览,提升购物体验
医疗与科研:医学影像三维重建、分子模拟、流体仿真,实时可视化与交互
原始 3DGS:https://github.com/graphdeco-inria/gaussian-splatting (基础版,2023)
4DGS:https://github.com/hustvl/4DGaussianSplatting (动态场景)
Mip-Splatting:https://github.com/autonomousvision/mip-splatting (抗锯齿)
GaussianEditor:https://github.com/canqin001/GaussianEditor (编辑工具)
WebGL/Three.js 渲染:https://github.com/antimatter15/splat (浏览器实时渲染)
大疆智图:集成 3DGS,支持航测三维重建、标注、测量
Unity/Unreal Engine:插件支持 3DGS 导入与实时渲染
RealityCapture/Agisoft Metashape:逐步集成 3DGS,提升重建效率与质量
云渲染平台:阿里云、腾讯云等提供 3DGS 云端渲染服务,降低硬件门槛
✅ 实时 + 高画质:兼顾 NeRF 的细节与网格的速度,是目前唯一能做到的技术
✅ 训练快、成本低:小时级训练,普通 GPU 即可运行
✅ 易编辑、易扩展:2024-2025 编辑性突破,支持语义、物理、生成式编辑
✅ 生态完善:开源 + 商业工具齐全,落地门槛低
❌ 透明 / 反射材质:复杂材质(玻璃、金属)仍有瑕疵,需结合纹理 / NeRF 增强
❌ 大规模场景:超大规模(城市级)需流式加载与压缩,显存仍有压力
❌ 拓扑缺失:无显式拓扑,不适用于需网格拓扑的场景(如 3D 打印)
❌ 动态场景精度:快速运动、流体等复杂动态场景仍需优化
端侧实时化:移动端 / 边缘设备实时 3DGS 重建与渲染
生成式 3DGS:文本 / 图像一键生成高质量 3D 高斯模型
物理一致性:结合物理引擎,支持真实物理交互(碰撞、变形、光照)
多模态融合:3DGS+LiDAR+IMU,提升重建精度与鲁棒性
标准化:3DGS 格式标准化,跨平台兼容与生态互通
环境准备:NVIDIA GPU(RTX 3090/4090 最佳),CUDA 11.7+,Python 3.8+
数据采集:手机 / 相机拍摄多视角图像(≥50 张,覆盖 360°),或用无人机航测
重建流程:
用 COLMAP/SfM 生成稀疏点云与相机参数
运行 3DGS 训练(命令:python train.py -s <data_path>)
实时渲染(python render.py -m <model_path>)
进阶优化:
动态场景:用 4DGS,输入视频序列
纹理增强:用 TexFusion/GARField
编辑:用 GaussianEditor,结合 SAM 进行语义编辑
落地:导出 PLY 格式,导入 Unity/Unreal/WebGL,或用大疆智图等商业工具
3D 高斯泼溅是近两年计算机视觉 / 图形学最具颠覆性的技术之一,以实时 + 高画质 + 低成本的核心优势,快速渗透到 AR/VR、测绘、影视、自动驾驶等领域。2024-2025 年,动态建模、纹理增强、编辑可控性三大方向突破,使其从实验室走向产业落地。未来,随着端侧优化、生成式扩展与生态完善,3DGS 将成为 3D 内容生产的主流范式之一。
实际应用
无人机 / 地面多视角快速重建,毫米级细节,实时漫游、测量、标注,兼容 3DTiles/PLY 等标准格式,对接 GIS/BIM 系统Esri。
城市数字孪生:城市级实景建模、地下管网 / 电力通信线路可视化、违建巡查、电动车违停 / 流动摊贩识别、应急演练(火灾蔓延、人员逃生模拟)、规划方案预演(公园 / 建筑摆放、采光影响评估)
案例:深圳龙华区 “数字孪生 + AI+3DGS” 落地社区治理与应急演练。
工程建设与基建:工地实景建模、进度检测、施工模拟、安全巡检、桥梁 / 隧道 / 大坝病害检测(裂缝、剥落)、竣工交付可视化。
工具:大疆智图、ArcGIS Reality、Agisoft Metashape 已集成 3DGS,支持航测一键重建与测量标注。
园区 / 厂区孪生:工厂产线、仓储、设备三维建模,远程运维、故障定位、虚拟巡检、能耗 / 安全管理。
低延迟、高保真实时渲染,支持 6DOF 自由视角,适配头显 / 手机 / 平板,实现虚实融合交互。
AR 空间导航与交互:室内外 AR 导航、空间标注、虚拟物体叠加(如商场导购、景区导览、工地施工指引)。
VR 沉浸式体验:虚拟展厅、景区 VR 漫游、虚拟试衣 / 试妆、虚拟看房 / 看车、虚拟会议 / 培训。
空间重建与捕捉:手机 / 头显快速扫描房间 / 物体,生成可交互 3D 模型,用于 AR 装修、家具摆放、虚拟组装。
快速生成虚拟场景 / 角色,实时渲染预览,支持动态场景与特效合成,替代传统扫描与网格重建。
虚拟制片与特效:实景 + 虚拟场景融合、绿幕背景替换、动态物体(人物 / 车辆 / 流体)新视角合成、影视级场景快速搭建与预览。
游戏资产与场景:游戏地图 / 道具 / 角色快速建模,实时渲染优化,动态 NPC / 场景交互,开放世界大场景流式加载。
动画与数字人:4D 高斯建模动态数字人(表情 / 动作捕捉),实时驱动与渲染,降低动捕与绑定成本。
非接触式三维重建,细节还原强,支持远程检测、虚拟装配、培训,减少停机与物理原型成本。
产品质检与缺陷检测:精密零部件(航空 / 汽车 / 电子)表面缺陷(划痕、裂纹、变形)、尺寸测量,自动化视觉检测,替代人工与三坐标测量。
设备运维与远程诊断:工业设备(电机、泵、阀门、生产线)三维建模,远程巡检、故障定位、维修指导,减少现场出差。
设计与仿真:产品设计快速原型验证、装配仿真、碰撞检测,优化设计方案,减少物理样机试制。
仓储与物流:仓库三维建模、货位规划、货物盘点、运输路线仿真,提升仓储效率与物流优化。
无损高精度重建,永久保存文物 / 古建筑细节,支持线上展示、虚拟游览、修复模拟。
文物数字化保护:石窟、壁画、雕塑、古建筑(如老君山金顶、城堡)毫米级重建,裂纹 / 风化监测,虚拟修复,避免文物二次损伤Esri。
文旅宣传与体验:景区 3D 全景漫游、虚拟导览、线上博物馆、文物互动展示,提升游客体验与传播效率龙华区政府。
考古与遗址重建:考古现场快速建模,遗址复原,考古数据永久存档与共享。
动态场景实时建模,支持仿真测试、SLAM、环境感知,提升自动驾驶与机器人的鲁棒性。
自动驾驶仿真:城市动态场景(车流、行人、信号灯)4D 建模,虚拟测试、极端场景模拟(暴雨、拥堵、事故),降低实车测试成本与风险。
SLAM 与环境感知:机器人 / 无人车实时三维建图、定位、避障,适配复杂室内外环境(仓库、工厂、城市街道)。
高精度地图构建:道路、车道线、交通标志、障碍物三维建模,支持自动驾驶高精度定位与路径规划。
快速生成商品 3D 模型,支持自由视角浏览、虚拟试用,提升转化率与用户体验。
商品 3D 展示:电商商品(服装、家电、家具、珠宝)360° 实时渲染,用户自由旋转、缩放、查看细节,替代传统图片 / 视频。
虚拟试穿 / 试戴 / 试用:服装虚拟试穿、眼镜 / 首饰虚拟试戴、家具虚拟摆放(AR 家装)、汽车虚拟试驾,降低退货率与体验成本。
虚拟展厅与直播:元宇宙展厅、3D 直播带货,沉浸式购物体验,打破地域限制。
医学影像 / 实验数据三维重建,实时可视化,支持教学、诊断、手术规划、科研仿真。
医学影像重建:CT/MRI/ 超声数据三维建模,器官 / 肿瘤 / 血管可视化,手术规划、模拟、教学,提升诊断与手术精度。
科研可视化:分子模拟、流体仿真、地质勘探、气象数据三维可视化,实时交互分析,助力科研发现。
康复与训练:康复训练动作捕捉与三维评估,虚拟康复指导,提升康复效果。
教育与培训:虚拟实验室、实训场景(如机械维修、消防演练)、历史场景复原,沉浸式教学,降低实训成本。
安防与监控:监控视频三维重建,事件回溯、人员 / 车辆轨迹分析、安防巡检,提升安防效率龙华区政府。
媒体与广告:广告创意 3D 场景、动态特效、虚拟代言人,提升广告吸引力与传播效果。
示例<八女投江纪念碑>:(点击图片看效果,模型较大多等一下)
示例<鸣人挂件>:(点击图片看效果)
示例<积木阁楼>:(点击图片看效果)
示例<卡通人物>:(点击图片看效果)
示例<雪乡观景台>:(点击图片看效果,模型较大多等一下)