От реального объекта к 3D Gaussian Splatting модели с помощью инструментов с открытым исходным кодом

Автор: Олег Боев

Введение

Этот туториал объясняет, как реконструировать 3D‑сцену по реальным фотографиям с использованием Gaussian Splatting. Метод был представлен в работе 3D Gaussian Splatting for Real-Time Radiance Field Rendering (Kerbl et al., 2023).

Gaussian Splatting — это современная техника для синтеза новых ракурсов (novel view synthesis). Она реконструирует сцену, размещая в пространстве тысячи небольших 3D‑гауссиан и оптимизируя их внешний вид так, чтобы он согласовывался с входными изображениями. Этот подход особенно хорошо передаёт тонкие и «мягкие» детали (например, мех или тканевые текстуры), которые часто плохо восстанавливаются традиционными методами, основанными на поверхностях/мешах.

Туториал демонстрирует полный пайплайн на примере реальной плюшевой игрушки. Он включает следующие шаги:

• Съёмка исходных изображений
• Оценка поз камер с помощью COLMAP
• Обучение модели с помощью gsplat
• Редактирование и визуализация результатов в SuperSplat

Пример показывает, как получить воспроизводимый результат, используя только инструменты с открытым исходным кодом, настроенные под Windows.

Этот подход особенно хорошо подходит для сканирования физических продуктов или небольших реальных объектов, поэтому он полезен для задач визуализации продукта, оцифровки объектов и создания 3D‑контента.

О gsplat

В этом туториале используется репозиторий gsplat для 3D Gaussian Splatting. По сравнению с оригинальной реализацией авторов (graphdeco-inria/gaussian-splatting), gsplat даёт несколько практических преимуществ:

• Более быстрое обучение, меньший расход памяти и поддержка больших сцен
• Функции вроде multi‑GPU, рендеринга глубины и anti‑aliasing
• Интеграция с экосистемой Nerfstudio (общие инструменты и пайплайны)
• Лицензия Apache 2.0, допускающая коммерческое использование
• Активная поддержка и использование в проектах с открытым исходным кодом

О COLMAP

COLMAP оценивает позы камер и строит разреженную реконструкцию по входным изображениям. Эти результаты используются для обучения 3D Gaussian Splatting модели. Windows‑версия COLMAP включает графический интерфейс и инструменты командной строки.

Примечание: gsplat является частью проекта Nerfstudio, в котором есть обёртка над COLMAP (ns-process-data), запускающая COLMAP с параметрами по умолчанию. Часто этого достаточно, но для некоторых наборов данных нужны нестандартные настройки. В одном из разделов ниже показано, как менять ключевые параметры, если настройки по умолчанию не работают.

Примечание: Аналогичные пайплайны можно строить и с помощью RealityCapture, Agisoft Metashape или Autodesk ReCap Pro. В этом туториале фокус на бесплатном и воспроизводимом процессе на базе COLMAP.

О SuperSplat

SuperSplat Editor это инструмент с открытым исходным кодом, работающий в браузере, для просмотра, редактирования и оптимизации 3D Gaussian Splatting моделей. Он поддерживает:

• Просмотр результата
• Очистку артефактов
• Обрезку и объединение моделей
• Лёгкие правки без переобучения

SuperSplat также можно установить как Progressive Web App (PWA) для более быстрого доступа и интеграции «как приложение».

Почему Windows

Туториал ориентирован на Windows, потому что эта ОС широко используется начинающими, студентами и техническими пользователями. При этом многие инструменты с открытым исходным кодом разрабатываются под Linux, а пользователи Windows часто сталкиваются с дополнительными сложностями при установке из‑за платформенных различий.

Вопросы по установке и запуску COLMAP и gsplat на Windows регулярно появляются на форумах, в GitHub Issues и в сообществах. Этот туториал даёт понятный пошаговый процесс под Windows, чтобы сделать современные методы 3D‑реконструкции более доступными.

Обзор пайплайна

Туториал проходит полный пайплайн построения 3D Gaussian Splatting модели из реальных изображений. Процесс включает четыре основных этапа:

1. Съёмка изображений
2. Калибровка/оценка поз камер и построение разреженного облака точек в COLMAP
3. Обучение модели в gsplat
4. Финальная правка и визуализация в SuperSplat

Далее каждый шаг разобран подробно. Если вас интересует только обучение, визуализация или другой этап, можно перейти сразу в нужный раздел.