1.概述
高斯展开是一种表示 3D 场景和渲染新视图的方法,在“用于实时辐射场渲染的 3D 高斯展开”¹ 中介绍。它可以被认为是类似 NeRF² 的模型的替代品,就像过去的 NeRF 一样,高斯飞溅导致了许多新的研究工作,他们选择将其用作各种用例的 3D 世界的底层表示。那么它有什么特别之处,为什么它比 NeRF 更好呢?或者,甚至是这样吗?让我们来了解一下!
2.TL;博士
首先,这项工作的主要成名之处在于从标题中可以理解的高渲染速度。这是由于下面将介绍的表示本身,以及使用自定义 CUDA 内核的渲染算法的定制实现。
图 1:在渲染速度 (fps)、训练时间 (min) 和视觉质量(峰值信噪比,越高越好)方面先前的高质量表示和高斯展开(标记为“Ours”)的并排比较 [来源:取自 [1]]
此外,高斯展开根本不涉及任何神经网络。甚至没有一个小的 MLP,没有什么“神经”的,一个场景本质上只是空间中的一组点。这本身就已经是一个吸引注意力的人。看到这种方法在我们痴迷于 AI 的世界中越来越受欢迎,研究公司追逐由越来越多的数十亿个参数组成的模型,这令人耳目一新。它的想法源于“表面泼溅”³ (2001),因此它树立了一个很酷的例子,即经典的计算机视觉方法仍然可以激发相关的解决方案。其简单而明确的表示使高斯飞溅特别易于解释,这是在某些应用中选择它而不是 NeRF 的一个很好的理由。
表示 3D 世界
如前所述,在高斯展开中,一个 3D 世界由一组 3D 点表示,实际上是数百万个 3D 点,大约为 0.5-500 万个。每个点都是一个 3D 高斯分布,具有自己独特的参数,这些参数是针对每个场景拟合的,因此该场景的渲染与已知的数据集图像非常匹配。稍后将讨论优化和渲染过程,因此让我们暂时关注必要的参数。
图 2:高斯中心(均值)[来源:取自动态 3D 高斯⁴]
每个 3D Gaussian 参数化为:
- 均值 μ 可解释为位置 x、y、z;
- 协方差 Σ;
- Opacity σ(α) 中,应用 sigmoid 函数将参数映射到 [0, 1] 区间;
- 颜色参数,可以是 (R, G, B) 的 3 个值,也可以是球谐 (SH) 系数。
这里有两组参数需要进一步讨论,一个协方差矩阵和 SH。有一个单独的部分专门介绍后者。至于协方差,它被设计为各向异性,即非各向同性。实际上,这意味着 3D 点可以是沿空间中任何方向旋转和拉伸的椭球体。它可能需要 9 个参数,但是,它们不能直接优化,因为协方差矩阵只有在正半定矩阵时才具有物理意义。使用梯度下降进行优化使得很难直接对矩阵施加此类约束,这就是为什么它被分解如下:
这种因式分解称为协方差矩阵的特征分解,可以理解为椭球体的配置,其中:
- S 是一个对角线缩放矩阵,具有 3 个缩放参数;
- R 是一个 3x3 旋转矩阵,用 4 个四元数解析表示。
使用高斯分布的美妙之处在于每个点的双重影响。一方面,根据其协方差,每个点实际上表示空间中接近其平均值的有限区域。另一方面,它在理论上具有无限范围,这意味着每个高斯分布都在整个 3D 空间上定义,并且可以针对任何点进行评估。这很棒,因为在优化过程中,它允许梯度从长距离流动。