Paper List

acceleration

Turbo-GS: Accelerating 3D Gaussian Fitting for High-Quality Radiance Fields

Brown University, Indian Institute of Science, Cornell ArXiv 2412.13547

  • 提出的Turbo-GS在减少优化次数的同时进行更频繁和高效的致密化，比现有方法的速度快几倍；
  • 做出了一系列设计，实现了频繁且高效的致密化、更好的初始化以及稳定的梯度；
  • 其他设计，如批量处理策略、带空洞的渲染等；

核心贡献

作者指出，由于梯度消失，原版的使用位置梯度作为指标的3DGS致密化策略在无纹理区域经常失效。见下图： turbo-0

作者对高斯球各个属性的梯度进行了分析，发现使用位置梯度做致密化在开始时收敛较慢（可能是由于无纹理区域的局部最小）。使用颜色做致密化则收敛较快，但是很难准确得到场景结构，导致对场景的过拟合。而协方差和透明度贡献比较小，使用透明度做致密化甚至会产生虚影。因此作者选用位置和颜色的梯度作为致密化的指标，使用这种策略，也能有效的解耦场景的外观和几何。 image.png

见之前的figure 4，基于位置的策略在无纹理区域的信号较弱，而基于颜色的策略则在无纹理区域有较强的信号。结合这两种策略，就能够获得一个场景结构和外观都更精细的重建结果。

text2gs

Text-to-3D using Gaussian Splatting(CVPR'24)

CVPR'24 diffusion, language embedding

image.png

language embedding

LangSplat: 3D Language Gaussian Splatting

THU, Harvard CVPR'24 language embedding

image.png

editing

GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

NTU, THU, SenseTime CVPR'24

image.png

  • 通过语义信息增强了编辑的精度和控制能力；
  • 提出层次化GS（Hierarchical Gaussian Splatting, HGS），使用2D 扩散模型获取更稳定和精细的结果；
  • 支持物体的移除和嵌入；

dynamic scene

HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting

ZJU, Huawei, University of Tubingen CVPR'24

image.png

  • 通过将GS扩展到更多维度（语义、光流、相机曝光、动态物体），提出了动态城市场景理解任务；
  • 使用稀疏的城市场景图片和有噪声的标签，并结合物理约束，在不需要GT 3D bbox的情况下实现了静态场景和动态物体的解耦；

3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis

NWPU, Samsung CVPR'24

CoGS: Controllable Gaussian Splatting

CMU, Fujitsu Research CVPR'24

image.png