Съёмка исходных данных

gsplat поддерживает разные форматы входных данных через механизмы подготовки датасетов в Nerfstudio. В этом туториале в качестве входа используется набор отдельных фотографий.

Практики съёмки зависят от типа сцены. Уличные сцены, помещения, люди и небольшие объекты требуют разных подходов. Тем не менее, следующие общие рекомендации подходят для большинства сценариев и помогают улучшить качество результата в 3D Gaussian Splatting.

Общие рекомендации

Используйте ровный мягкий свет

Освещайте сцену равномерным рассеянным светом, чтобы уменьшить тени и блики. Избегайте жёсткого направленного света: он повышает шум и ухудшает качество реконструкции.

Снимайте качественные статичные фото

Фотографии обычно дают лучший результат, чем кадры из видео, потому что меньше смаза (motion blur) и стабильнее экспозиция. Если вы используете видео, снимайте с высоким FPS (минимум 60) при стабильном освещении.

Обеспечьте достаточное перекрытие кадров

Каждое изображение должно перекрываться с соседними ракурсами примерно на 20–30%. Перекрытие критично для сопоставления признаков в Structure‑from‑Motion (SfM). В видео такое перекрытие часто получается автоматически.

Создавайте параллакс перемещением камеры

Между кадрами меняйте физическое положение камеры. Не вращайтесь «на месте» без смещения: это снижает геометрическую информативность и может привести к провалу оценки поз.

Фиксируйте настройки камеры

Используйте ручной фокус и фиксированное фокусное расстояние, чтобы внутренние параметры камеры оставались стабильными. Отключите зум, автофокус и автоэкспозицию.

Избегайте смаза и искажений

Используйте штатив или стабилизатор. Избегайте условий с низкой освещённостью, где требуются длинные выдержки. Проверяйте, что изображения резкие и правильно сфокусированы.

Снимайте сцены с текстурой

В сцене должно быть достаточно текстуры, контрастных границ и деталей, чтобы признаки детектировались стабильно. Плоские, однородные или глянцевые поверхности снижают эффективность SfM.

Сцена должна быть статичной

Не допускайте движения во время съёмки. Движущиеся объекты, люди или изменения освещения мешают оценке поз.

Выбирайте подходящее разрешение

Высокое разрешение повышает детализацию, но увеличивает расход памяти и время обучения. Подберите компромисс между качеством и производительностью.

Снимайте достаточно ракурсов

Для небольших объектов/сцен хорошая отправная точка: 100–250 согласованных кадров. Для более крупных или полностью 360° моделей нужно больше покрытие. Следите, чтобы не «выпадали» зоны вроде нижней части объекта.

Используйте многокамерные установки, если это уместно

Многокамерная установка может ускорить съёмку, фиксируя несколько ракурсов одновременно. Это полезно для динамических сцен или ограниченного по времени процесса.

О датасете из примера

В этом туториале используется 84 входных изображения с разрешением 3000 × 2000, снятых камерой Canon M200 на штативе. Плюшевая игрушка была размещена на стуле, накрытом двумя скреплёнными листами белой бумаги 50 × 70 см, образующими изогнутый фон. Дополнительный лист снизу позволял удобно поворачивать объект во время съёмки, при этом камера оставалась неподвижной для каждого «бубликообразного» обхода.

Фотографии были сделаны в помещении при рассеянном фоновом освещении. На кадрах видны тени и элементы фона. Это сделано намеренно, чтобы смоделировать «реальные» условия и показать, что хороший результат возможен и без студийной постановки света. Освещение было неравномерным, а постобработка отдельных кадров не выполнялась. Это также демонстрирует, как инструменты вроде SuperSplat могут помочь скорректировать яркость и цвет уже после обучения. Цель: стимулировать практическое обучение даже на неидеальных данных.

Примечание: Похожий результат можно получить и с помощью современного смартфона, если освещения достаточно, а камера держится стабильно.

Примечание: Игрушка является личной собственностью автора и используется здесь исключительно для технической демонстрации.

Наблюдение: Gaussian Splatting и мелкие детали

Плюшевая игрушка выбрана, чтобы продемонстрировать одну из ключевых сильных сторон 3D Gaussian Splatting: способность передавать мягкие и детализированные поверхности. Традиционные меш‑пайплайны часто плохо справляются с материалами вроде меха и дают нереалистичную или неполную геометрию. В отличие от этого, представление сцены набором 3D‑гауссиан лучше сохраняет тонкую текстуру и мелкие вариации.