Обучение 3D Gaussian модели в gsplat

1: Просмотр модели во вьювере gsplat

Чтобы обучить 3D Gaussian Splatting модель, выполните:

conda activate gsplat
cd <GSPLAT_REPOSITORY_FOLDER>\examples
python simple_trainer.py default ^
  --eval_steps -1 ^
  --disable_viewer ^
  --data_factor 4 ^
  --save_ply ^
  --ply_steps 30000 ^
  --data_dir <DATA_PATH> ^
  --result_dir <OUTPUT_PATH>

Замените <GSPLAT_REPOSITORY_FOLDER> на путь к вашему клону репозитория gsplat. Также обновите <DATA_PATH> и <OUTPUT_PATH> под пути в вашей системе.

Справка по параметрам

default: профиль конфигурации по умолчанию в simple_trainer.py
--eval_steps -1: отключает оценку во время обучения
--disable_viewer: отключает встроенный вьювер Nerfstudio
--data_factor 4: уменьшает входные изображения в 4 раза
--save_ply: сохраняет модель в формате PLY
--ply_steps 30000: сохраняет .ply на шаге обучения 30 000
--data_dir: путь к датасету (тот же, что использовался в COLMAP)
--result_dir: папка для результатов обучения

Ожидаемый вывод

Если обучение стартовало успешно, вы увидите индикатор прогресса. По завершении в логе будет сообщение вида:

Step:  29999 {'mem': 0.2915501594543457, 'ellipse_time': 708.7276656627655, 'num_GS': 167459}
Saving ply to <OUTPUT_PATH>/ply/point_cloud_29999.ply

В примере выше обучение заняло около 12 минут на системе из раздела «Проверенная конфигурация». Итоговая модель содержит 167 459 гауссиан. Финальный .ply сохраняется в:

<OUTPUT_PATH>\ply\point_cloud_29999.ply

Скачать модель, обученную на датасете из примера (без постобработки и удаления артефактов), можно из репозитория: results/plush-dog/ply/point_cloud_29999.ply

1 - Просмотр модели во вьювере gsplat

Чтобы визуализировать обученную модель во встроенном вьювере gsplat, выполните:

python simple_viewer.py --ckpt <OUTPUT_PATH>\ckpts\ckpt_29999_rank0.pt --port 8081

Команда поднимает локальный web‑сервер и выводит ссылку вида:

╭──────────────── viser ────────────────╮
│             ╷                         │
│   HTTP      │ http://localhost:8081   │
│   Websocket │ ws://localhost:8081     │
│             ╵                         │
╰───────────────────────────────────────╯

Откройте выведенную ссылку (например, http://localhost:8081) в браузере.

Вьювер отображает обученную Gaussian Splatting модель. Вокруг основного объекта часто появляются «плавающие» артефакты. В следующем разделе, Редактирование 3D Gaussian Splatting модели в SuperSplat, показано, как очистить и постобработать модель для более удобной визуализации или дальнейшего использования.

«Плавающие» артефакты вокруг объекта во вьювере gsplat. Обычно такие артефакты присутствуют до очистки сцены.

Та же сцена при приближении: реконструированная плюшевая игрушка находится в центре.