InstantSplat: 秒级稀疏视角 高斯泼溅

目录

• 目录
• 自由视角渲染
• 待办事项列表
• 快速开始
  • 安装
  • 使用
• 致谢
• 引用

自由视角渲染

https://github.com/zhiwenfan/zhiwenfan.github.io/assets/34684115/748ae0de-8186-477a-bab3-3bed80362ad7

待办事项列表

• 支持 2D-GS
• 长序列跨窗口对齐
• 支持 Mip-Splatting

快速入门

安装

1. 克隆 InstantSplat 并下载预训练模型。

git clone --recursive https://github.com/NVlabs/InstantSplat.git
cd InstantSplat
mkdir -p mast3r/checkpoints/
wget https://download.europe.naverlabs.com/ComputerVision/MASt3R/MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric.pth -P mast3r/checkpoints/

2. 创建环境（或使用预构建的 docker），此处展示使用 conda 的示例。

conda create -n instantsplat python=3.10.13 cmake=3.14.0 -y
conda activate instantsplat
conda install pytorch torchvision pytorch-cuda=12.1 -c pytorch -c nvidia  # use the correct version of cuda for your system
pip install -r requirements.txt
pip install submodules/simple-knn
pip install submodules/diff-gaussian-rasterization
pip install submodules/fused-ssim

1. 可选但强烈建议，编译 RoPE 的 cuda 内核（如 CroCo v2 中所示）。

# DUST3R relies on RoPE positional embeddings for which you can compile some cuda kernels for faster runtime.
cd croco/models/curope/
python setup.py build_ext --inplace

替代方案：使用预构建的 docker 镜像：pytorch/pytorch:2.1.2-cuda11.8-cudnn8-devel

docker pull dockerzhiwen/instantsplat_public:2.0

如果 docker 未能产生合理的结果，请在 docker 内再次尝试安装步骤。

用法

1. 数据准备（从以下位置下载我们预处理的数据：Hugging Face 或 Google Drive)

  cd <data_path>
  # then do whatever data preparation

1. 命令

  # InstantSplat train and output video (no GT reference, render by interpolation) using the following command.
  # Users can place their data in the 'assets/examples/<scene_name>/images' folder and run the following command directly.
  bash scripts/run_infer.sh

  # InstantSplat train and evaluate (with GT reference) using the following command.
  bash scripts/run_eval.sh

致谢

本工作建立在许多出色的研究成果和开源项目之上，非常感谢所有作者的分享！

• Gaussian-Splatting and diff-gaussian-rasterization
• DUSt3R

引用

如果您认为我们的工作对您的研究有帮助，请考虑给予一个星标 :star: 并引用以下论文 :pencil:。

@misc{fan2024instantsplat,
        title={InstantSplat: Sparse-view Gaussian Splatting in Seconds},
        author={Zhiwen Fan and Kairun Wen and Wenyan Cong and Kevin Wang and Jian Zhang and Xinghao Ding and Danfei Xu and Boris Ivanovic and Marco Pavone and Georgios Pavlakos and Zhangyang Wang and Yue Wang},
        year={2024},
        eprint={2403.20309},
        archivePrefix={arXiv},
        primaryClass={cs.CV}
      }