【免费下载链接】ReconViaGen(ICLR2026) ReconViaGen: Towards Accurate Multi-view 3D Object Reconstruction via Generation项目地址https://gitcode.com/gh_mirrors/re/ReconViaGen点击查看免费下载ReconViaGen是一个多视图 3D 物体重建的开源项目ICLR 2026 论文《ReconViaGen: Towards Accurate Multi-view 3D Object Reconstruction via Generation》。v0.5 版本带来了关键升级项目团队针对TRELLIS.2提出了一套有效的多视图融合策略将 ReconViaGen 与 TRELLIS.2 结合能够从多视角照片直接生成**高分辨率网格Mesh**和带PBR 材质的 3D 资产最终输出可直接在网页、游戏引擎中使用的 GLB 文件。上图是官方 Teaser左侧是多视图输入照片中间是纯生成式TRELLIS和纯重建式VGGT方案各自的缺陷——前者细节有幻觉、后者表面残缺而右侧的ReconViaGen同时做到了高完整性和与输入视图的高度一致性。 v0.5 升级了什么从 README.md 的 News 部分可以看到v0.5 的核心变化只有两点但都是“质变”面向 TRELLIS.2 的多视图融合策略TRELLIS.2 是微软推出的新一代结构化潜变量 3D 生成模型而原版 TRELLIS 只能消费单张图像特征。团队提出的融合策略让多视角照片的几何与外观信息能一起进入生成过程从而“补全看不见的背面”又不违背看得见的正面。高分辨率网格 PBR 材质输出生成结果不再是低模预览而是经过网格简化、补洞、UV 展开与纹理烘焙的工业级 GLB 资产。此外官方提示 v0.5 分支修复了一些 bug并同步上线了线上 Demo建议拉取仓库后与远端保持同步仓库地址https://gitcode.com/gh_mirrors/re/ReconViaGen。 整体技术路线两阶段生成 精化ReconViaGen 的推理管线由 trellis/pipelines/trellis_image_to_3d.py 中的TrellisVGGTTo3DPipeline实现整体分三步第 1 步多视图特征聚合VGGT多张输入照片先经过 wheels/vggt/ 中集成的 VGGT 模型聚合成全局 3D 感知特征相机位姿、点云、几何 tokens。这一步是“重建”基因的来源模型不仅知道物体长什么样还知道各张照片的相机位置。核心特征提取在TrellisVGGTTo3DPipeline.vggt_feat()L966-L998中完成。第 2 步两阶段扩散生成TRELLIS 架构阶段 1 —— 稀疏结构生成sparse_structure_flow_model先在 64³ 体素空间采样出物体的“骨架”坐标见 trellis/models/sparse_structure_flow.py决定物体“占据哪些格子”。阶段 2 —— 结构化潜变量生成slat_flow_model在这些稀疏位置上采样潜特征trellis/models/structured_latent_flow.py编码外观与材质细节。多视图融合就发生在这一层条件信息不是单张图的特征而是get_ss_cond/get_slat_condL920-L964把 VGGT 聚合 token 与图像条件共同注入采样器。第 3 步解码出 3D 表示生成的潜变量经decode_slat()L587-L621分别解码为高斯泼溅3D Gaussian负责高质量颜色渲染来自 trellis/structured_latent_vae/decoder_gs.py网格Mesh负责可编辑几何来自 trellis/structured_latent_vae/decoder_mesh.py。 关键技巧多视图采样算法二选一在 Gradio 界面里有一个 “Multi-image Algorithm” 选项提供multidiffusion与stochastic两种模式对应源码inject_sampler_multi_imageL758-L813模式原理适合场景multidiffusion每个采样步对多张视图的条件预测做平均再施加 Classifier-Free Guidance视图多、希望结果与每张图都吻合默认推荐stochastic每步随机选一张视图作为条件循环遍历视图数少于采样步数时的省显存选择 官方在 v0.2 中优化了显存占用不精化时重建 16 张图约需 18GB 显存开启精化app_fine.py约需 24GB 显存。✨ 精化阶段让背面也“长”得对app_fine.py在基础生成之上增加了一套完整的精化流程app_fine.py相机位姿精化用 wheels/mast3r/ 的 MASt3R 做跨视图特征匹配结合 VGGT 预测的深度通过 PnP / 点云配准RANSAC ICP把生成模型渲染出的虚拟视图与真实照片精确对齐refine_pose_mast3r、pointcloud_registration两个函数稀疏结构精化把对齐后的点云体素化作为先验注入run_refine()在noise或deltav两种模式下微调几何外观优化sample_slat_opt引入DreamSim 感知损失让生成结果在给定相机位姿下渲染出的画面尽可能接近真实照片。这正是 Teaser 图中“Consistency with Input views”表情从 变 的原因。 一键安装与本地运行一键安装步骤git clone --recursive https://gitcode.com/gh_mirrors/re/ReconViaGen cd ReconViaGen . ./setup.sh --new-env --basic --xformers --flash-attn --spconv --mipgaussian --kaolin --nvdiffrast --demosetup.sh 会自动创建名为reconviagen的 conda 环境Python 3.10 PyTorch 2.4.0 CUDA 12.1并按顺序安装 xformers、flash-attention、spconv、nvdiffrast 等 CUDA 扩展依赖清单也可参考 requirements.txt。最快配置方法两条命令启动python app.py # 快速模式直接生成显存占用更低 python app_fine.py # 精化模式位姿精化 外观优化效果最佳启动后打开浏览器上传多张不同视角的照片或一段环绕视频会自动按 1fps 抽帧点击 “Generate Extract GLB” 即可。常用参数建议保持默认Stage 1稀疏结构Sampling Steps 30Guidance Strength 7.5Stage 2结构化潜变量Sampling Steps 12Guidance Strength 7.5GLB 导出Simplify 0.95Texture Size 1024最高 2048显存紧张时务必勾选Low VRAM Mode各阶段模型自动在 CPU/GPU 间搬运 高分辨率网格与 PBR 材质的由来点击生成后后处理管线to_glb()trellis/utils/postprocessing_utils.py会依次完成网格后处理按simplify比例减面、自动补洞postprocess_meshUV 展开xatlas 参数化为贴图铺平表面纹理烘焙从 3D 高斯表示渲染 100 个视角用可微光栅化优化烘焙出颜色贴图并以 TV 损失去噪PBR 材质封装将纹理封装为trimesh.visual.material.PBRMaterial并输出标准 GLB。因此导出的不是“贴图预览图”而是真正带baseColor 纹理 PBR 参数的网格资产可直接导入 Blender、Three.js 或 Unity。界面还额外提供 “Extract Gaussian” 按钮可导出 ~50MB 的高斯泼溅.ply文件用于实时渲染。️ 如何训练自己的模型项目同时开放了完整训练代码基于ProObjaverse-300K数据集每个物体包含最多约 80 个 1024×1024 渲染视角 结构化潜变量.npz组织格式见 README.md 的 Data Preparation 一节数据加载dataset.py 负责配对渲染图与潜变量阶段 1 训练. ./train_ss.sh训练稀疏结构 DiTtrain_ss.py阶段 2 训练. ./train_slat.sh训练结构化潜变量 DiTtrain_slat.py官方使用 8×A10080GB训练。训完后可用 Gradio 界面快速验证python app_try.py --ss_ckpt /path/to/ss_ckpt --slat_ckpt /path/to/slat_ckpt✅ 小结谁适合用 ReconViaGen3D 资产创作者手握多角度照片或一段环绕视频想跳过建模/贴图全流程直接拿到可用 GLB游戏与 Web 3D 开发者需要带 PBR 材质的网格接入渲染管线研究者多视图生成式重建 VGGT/MASt3R 配准 TRELLIS.2 潜变量架构的组合是 ICLR 2026 的新方向训练代码全部开放方便复现与二创。一句话总结v0.5 让“拍一圈照片 → 得一个能上线的 3D 模型”这条链路第一次在开源项目中完整跑通。赞分享【免费下载链接】ReconViaGen(ICLR2026) ReconViaGen: Towards Accurate Multi-view 3D Object Reconstruction via Generation项目地址https://gitcode.com/gh_mirrors/re/ReconViaGen点击查看免费下载相关推荐foobox-cn:foobar2000 中文皮肤配置指南foobox cn:foobar2000 中文皮肤配置指南 foobar2000 的播放与标签能力很强,但原生界面偏工具化,窗口组织全靠手动调整。fooboxUI组件Folia 安装指南Windows、macOS 与 Arch 一次跑通歌词动画播放器Folia 安装指南Windows、macOS 与 Arch 一次跑通歌词动画播放器 Folia 是一款全屏歌词动画播放器本地曲库、Navidrome 服务音视频前端桌面应用ComfyUI-Trellis2网格纹理工作流详解从图片生成PBR材质到UV烘焙的完整路径ComfyUI Trellis2网格纹理工作流详解从图片生成PBR材质到UV烘焙的完整路径 ComfyUI Trellis2 是微软 TRELLIS.2 模型上一篇三套永久免费 LLM API 完整指南国内开发者不用信用卡也能跑通下一篇Flutter Design Patterns源码剖析理解设计模式的实现原理创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/11/6 1:15:32 · 阅读 1.2k ReconViaGen v0.5升级全解读：面向TRELLIS.2的多视图融合，生成高分辨率网格与PBR材质
【免费下载链接】ReconViaGen(ICLR2026) ReconViaGen: Towards Accurate Multi-view 3D Object Reconstruction via Generation项目地址https://gitcode.com/gh_mirrors/re/ReconViaGen点击查看免费下载ReconViaGen是一个多视图 3D 物体重建的开源项目ICLR 2026 论文《ReconViaGen: Towards Accurate Multi-view 3D Object Reconstruction via Generation》。v0.5 版本带来了关键升级项目团队针对TRELLIS.2提出了一套有效的多视图融合策略将 ReconViaGen 与 TRELLIS.2 结合能够从多视角照片直接生成**高分辨率网格Mesh**和带PBR 材质的 3D 资产最终输出可直接在网页、游戏引擎中使用的 GLB 文件。上图是官方 Teaser左侧是多视图输入照片中间是纯生成式TRELLIS和纯重建式VGGT方案各自的缺陷——前者细节有幻觉、后者表面残缺而右侧的ReconViaGen同时做到了高完整性和与输入视图的高度一致性。 v0.5 升级了什么从 README.md 的 News 部分可以看到v0.5 的核心变化只有两点但都是“质变”面向 TRELLIS.2 的多视图融合策略TRELLIS.2 是微软推出的新一代结构化潜变量 3D 生成模型而原版 TRELLIS 只能消费单张图像特征。团队提出的融合策略让多视角照片的几何与外观信息能一起进入生成过程从而“补全看不见的背面”又不违背看得见的正面。高分辨率网格 PBR 材质输出生成结果不再是低模预览而是经过网格简化、补洞、UV 展开与纹理烘焙的工业级 GLB 资产。此外官方提示 v0.5 分支修复了一些 bug并同步上线了线上 Demo建议拉取仓库后与远端保持同步仓库地址https://gitcode.com/gh_mirrors/re/ReconViaGen。 整体技术路线两阶段生成 精化ReconViaGen 的推理管线由 trellis/pipelines/trellis_image_to_3d.py 中的TrellisVGGTTo3DPipeline实现整体分三步第 1 步多视图特征聚合VGGT多张输入照片先经过 wheels/vggt/ 中集成的 VGGT 模型聚合成全局 3D 感知特征相机位姿、点云、几何 tokens。这一步是“重建”基因的来源模型不仅知道物体长什么样还知道各张照片的相机位置。核心特征提取在TrellisVGGTTo3DPipeline.vggt_feat()L966-L998中完成。第 2 步两阶段扩散生成TRELLIS 架构阶段 1 —— 稀疏结构生成sparse_structure_flow_model先在 64³ 体素空间采样出物体的“骨架”坐标见 trellis/models/sparse_structure_flow.py决定物体“占据哪些格子”。阶段 2 —— 结构化潜变量生成slat_flow_model在这些稀疏位置上采样潜特征trellis/models/structured_latent_flow.py编码外观与材质细节。多视图融合就发生在这一层条件信息不是单张图的特征而是get_ss_cond/get_slat_condL920-L964把 VGGT 聚合 token 与图像条件共同注入采样器。第 3 步解码出 3D 表示生成的潜变量经decode_slat()L587-L621分别解码为高斯泼溅3D Gaussian负责高质量颜色渲染来自 trellis/structured_latent_vae/decoder_gs.py网格Mesh负责可编辑几何来自 trellis/structured_latent_vae/decoder_mesh.py。 关键技巧多视图采样算法二选一在 Gradio 界面里有一个 “Multi-image Algorithm” 选项提供multidiffusion与stochastic两种模式对应源码inject_sampler_multi_imageL758-L813模式原理适合场景multidiffusion每个采样步对多张视图的条件预测做平均再施加 Classifier-Free Guidance视图多、希望结果与每张图都吻合默认推荐stochastic每步随机选一张视图作为条件循环遍历视图数少于采样步数时的省显存选择 官方在 v0.2 中优化了显存占用不精化时重建 16 张图约需 18GB 显存开启精化app_fine.py约需 24GB 显存。✨ 精化阶段让背面也“长”得对app_fine.py在基础生成之上增加了一套完整的精化流程app_fine.py相机位姿精化用 wheels/mast3r/ 的 MASt3R 做跨视图特征匹配结合 VGGT 预测的深度通过 PnP / 点云配准RANSAC ICP把生成模型渲染出的虚拟视图与真实照片精确对齐refine_pose_mast3r、pointcloud_registration两个函数稀疏结构精化把对齐后的点云体素化作为先验注入run_refine()在noise或deltav两种模式下微调几何外观优化sample_slat_opt引入DreamSim 感知损失让生成结果在给定相机位姿下渲染出的画面尽可能接近真实照片。这正是 Teaser 图中“Consistency with Input views”表情从 变 的原因。 一键安装与本地运行一键安装步骤git clone --recursive https://gitcode.com/gh_mirrors/re/ReconViaGen cd ReconViaGen . ./setup.sh --new-env --basic --xformers --flash-attn --spconv --mipgaussian --kaolin --nvdiffrast --demosetup.sh 会自动创建名为reconviagen的 conda 环境Python 3.10 PyTorch 2.4.0 CUDA 12.1并按顺序安装 xformers、flash-attention、spconv、nvdiffrast 等 CUDA 扩展依赖清单也可参考 requirements.txt。最快配置方法两条命令启动python app.py # 快速模式直接生成显存占用更低 python app_fine.py # 精化模式位姿精化 外观优化效果最佳启动后打开浏览器上传多张不同视角的照片或一段环绕视频会自动按 1fps 抽帧点击 “Generate Extract GLB” 即可。常用参数建议保持默认Stage 1稀疏结构Sampling Steps 30Guidance Strength 7.5Stage 2结构化潜变量Sampling Steps 12Guidance Strength 7.5GLB 导出Simplify 0.95Texture Size 1024最高 2048显存紧张时务必勾选Low VRAM Mode各阶段模型自动在 CPU/GPU 间搬运 高分辨率网格与 PBR 材质的由来点击生成后后处理管线to_glb()trellis/utils/postprocessing_utils.py会依次完成网格后处理按simplify比例减面、自动补洞postprocess_meshUV 展开xatlas 参数化为贴图铺平表面纹理烘焙从 3D 高斯表示渲染 100 个视角用可微光栅化优化烘焙出颜色贴图并以 TV 损失去噪PBR 材质封装将纹理封装为trimesh.visual.material.PBRMaterial并输出标准 GLB。因此导出的不是“贴图预览图”而是真正带baseColor 纹理 PBR 参数的网格资产可直接导入 Blender、Three.js 或 Unity。界面还额外提供 “Extract Gaussian” 按钮可导出 ~50MB 的高斯泼溅.ply文件用于实时渲染。️ 如何训练自己的模型项目同时开放了完整训练代码基于ProObjaverse-300K数据集每个物体包含最多约 80 个 1024×1024 渲染视角 结构化潜变量.npz组织格式见 README.md 的 Data Preparation 一节数据加载dataset.py 负责配对渲染图与潜变量阶段 1 训练. ./train_ss.sh训练稀疏结构 DiTtrain_ss.py阶段 2 训练. ./train_slat.sh训练结构化潜变量 DiTtrain_slat.py官方使用 8×A10080GB训练。训完后可用 Gradio 界面快速验证python app_try.py --ss_ckpt /path/to/ss_ckpt --slat_ckpt /path/to/slat_ckpt✅ 小结谁适合用 ReconViaGen3D 资产创作者手握多角度照片或一段环绕视频想跳过建模/贴图全流程直接拿到可用 GLB游戏与 Web 3D 开发者需要带 PBR 材质的网格接入渲染管线研究者多视图生成式重建 VGGT/MASt3R 配准 TRELLIS.2 潜变量架构的组合是 ICLR 2026 的新方向训练代码全部开放方便复现与二创。一句话总结v0.5 让“拍一圈照片 → 得一个能上线的 3D 模型”这条链路第一次在开源项目中完整跑通。赞分享【免费下载链接】ReconViaGen(ICLR2026) ReconViaGen: Towards Accurate Multi-view 3D Object Reconstruction via Generation项目地址https://gitcode.com/gh_mirrors/re/ReconViaGen点击查看免费下载相关推荐foobox-cn:foobar2000 中文皮肤配置指南foobox cn:foobar2000 中文皮肤配置指南 foobar2000 的播放与标签能力很强,但原生界面偏工具化,窗口组织全靠手动调整。fooboxUI组件Folia 安装指南Windows、macOS 与 Arch 一次跑通歌词动画播放器Folia 安装指南Windows、macOS 与 Arch 一次跑通歌词动画播放器 Folia 是一款全屏歌词动画播放器本地曲库、Navidrome 服务音视频前端桌面应用ComfyUI-Trellis2网格纹理工作流详解从图片生成PBR材质到UV烘焙的完整路径ComfyUI Trellis2网格纹理工作流详解从图片生成PBR材质到UV烘焙的完整路径 ComfyUI Trellis2 是微软 TRELLIS.2 模型上一篇三套永久免费 LLM API 完整指南国内开发者不用信用卡也能跑通下一篇Flutter Design Patterns源码剖析理解设计模式的实现原理创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考