重新理解这个问题你手持手机随意拍摄一段房间视频, 期望得到一个能够回答问题的3D模型。问题出现了: 现有的3D重建十分精美, 然而那个点云对于诸如墙在何处、有几把椅子、地面面积多少等问题却毫无回答能力——纯粹的三维几何恰似一具美丽的尸体, 语义才是使房间充满生机的要素。Poux给出的方案出人意料地务实: 并非去训练一个全新的模型, 而是编排一群已有的预训练模型——运用SAM切割画面, 借助CLIP赋予名称, 进行跨帧匹配。最关键的设计并非是任何一个模型自身, 而是一个称作“像素 - 点链接”的事物, 在进行重建的时候, 要把每一个3D点以及它所源自的2D像素坐标一同保存下来, 这条映射链就是整条管线的罗塞塔石碑, 任何能够讲“图像语言”的模型, 立刻也就明白了“3D语言”。拆解背后的机制这条管线的九步像一个精密齿轮链每一环都依赖上一环的输出①加载跟链接, 加载点云之际读取像素与点的映射, 这一步极易被忽视, 可是它身为整条管线的根基, 若扔掉这个映射, 后续每一步均需重新计算投影, 速度慢一个数量级。② 重力进行定向通过拟合地面平面, 将点云旋转使得Z轴向上。存在一个小技巧, 即从最矮的35%的点里面采样出三元组, 这能极大地提升找到地面的概率。第三步, 进行尺度恢复, 单目重建不存在测量尺度, 采用以室内天花板正常高度作为已知的参照标准, 此标准默认设定为2.5米, 借助高度直方图来检测地面以及天花板这两处呈现出的人群稠密性较高的区域, 经过计算两者间的相应比例之后, 将其大小调整为符合实际的米制单位的对应尺寸。④ 投影链接, 为每个视角构建像素与点的可见性映射, 带有深度测试以避免遮挡误标。4%的深度容差是最佳参数, 对着干净的三脚架扫描收紧, 针对手持晃动扫描调松。⑤ SAM提出画面里的候选区域, CLIP借助文字列表“墙”、“地板”、“天花板”、“家具”给每个区域予以命名, 这整个过程无需训练。⑥ 跨帧匹配, 于一帧里画个圈来标记出目标物体, 像沙发这样的, 其自监督嵌入会自动在其余所有帧当中找出相同的物体, 这是典型的“一次标注, 全局跟踪”。⑦ 存在跨视角投票情况, 即同一个点于不同视角时, 有可能被标记为“墙”以及“窗户”, 所以要运用k-NN最近邻投票其中k等于16这种情况, 依据几何邻域一致性来消除标签闪烁现象。人工作修正, 点上一个点, 嘴里说着“这是地板”, 算法凭借这一点, 沿着最近邻图展开传播, 将修正扩散至整个连通面。仅仅一次点击, 便能纠正八千多个点。⑨ 平面切片, 于距离地面1米之处, 切出一个30厘米厚的水平层, 进而输出能够直接进行测量的建筑平面图。工程化的版本仅仅NumPy以及SciPy便构成了整个流程所需的开发模式, GPU与模型权重并不需要, 在跑通逻辑之后才接入实打实的视觉模型, 环境搭建着实简单:conda create -n spatial_ai python3.11 -y conda activate spatial_ai pip install numpy scipy matplotlib open3d手机视频所产生的数据, 经由等SfM工具进行重建操作然后输出PLY点云、相机参数以及像素映射相关信息。而在实际投入使用期间, 将DEV模式转换为生产模式, 从而自动接入SAM/CLIP/。几个调参经验, 迭代300次就足够, 深度容差为4%。工作图像尺寸是768像素。跨帧匹配的合并阈值tau0.6, 这意味着沙发不会碎成靠垫。人工修正的传播k12。我的判断与延伸我最欣赏这篇文章的, 是其对于“编排优于训练”所秉持的坚定立场。2024年到2026年期间, 最大的范式转变并非存在于哪个模型变得更强这一方面, 而是在于你无需再为自身场景去训练任何模型, 预训练模型所具备的理解力已然足够, 剩下需要面对的问题则是关于路由: 也就是怎么把2D模型的理解映射至3D空间。但我指出了几点被轻描淡写的内容 , 像素 - 点链接的质量全然取决于 SfM 的配准精度 , 有着两三个像素的重投影误差便会致使标签在物体边界出现溢出。CLIP 以及对透明 / 反射表面的理解仍旧非常差 , 玻璃和镜面基本上属于盲区。一致性投票在 “所有视角都错了” 的情形下会自信满满地将错误扩散到整个区域。从整体上来进行考量, 看这套管线, 已针对墙壁、地板、天花板以及家具分类等室内粗粒度场景达到高度成熟表现, 然而像不同家具型号区分、结构性缺陷的检测这类精细的物体分割, 仍旧必须通过人工进行参与。房产中介快速建模、家装公司尺寸估算、保险定损处快速预评估, 是最为契合的场景, 即拍摄一段视频, 在当天就能得出图纸, 且成本近乎为零。