Что хотят услышать интервьюеры:

3D Gaussian Splatting и NeRF решают одну задачу — восстановление и рендеринг 3D-сцены по наборам изображений, но делают это по-разному. NeRF хранит сцену как неявную нейросетевую функцию, а Gaussian Splatting — как набор явных 3D-гауссиан с параметрами. На практике Gaussian Splatting обычно быстрее в обучении и рендеринге, а NeRF чаще дает более гибкое неявное представление.

Определение:

NeRF — это метод, который описывает сцену через нейросеть, возвращающую плотность и цвет для любой 3D-точки и направления луча. Чтобы получить изображение, нужно интегрировать вклад вдоль лучей, что вычислительно дорого.

3D Gaussian Splatting вместо этого представляет сцену набором 3D-гауссиан: у каждого есть позиция, размер, ориентация, прозрачность и цвет. При рендеринге эти “облака” проецируются на экран и смешиваются в изображение, что позволяет получать очень быстрый вывод.

Пример использования:

Например, для реконструкции комнаты по видео с телефона NeRF может дать качественную синтезированную новизну ракурсов, но обучение и просмотр результата будут заметно медленнее. Gaussian Splatting в том же сценарии обычно позволяет быстрее собрать сцену и почти в реальном времени вращать ее в просмотрщике.

Вход: набор фото/кадров комнаты
NeRF:
  - обучает MLP на радианс-поле
  - рендерит изображение через семплирование лучей
  - качество высокое, но вывод обычно медленнее

3D Gaussian Splatting:
  - оптимизирует набор гауссиан в 3D
  - проецирует их на экран и смешивает цвета
  - рендеринг значительно быстрее

Пояснение кода:

Код не требуется, потому что различие лучше объясняется на уровне представления сцены и способа рендеринга.

Шаги на примере реконструкции сцены:

Снимается набор изображений или видео с перекрывающимися ракурсами.
Обе методы пытаются восстановить геометрию и внешний вид сцены.
NeRF обучает нейросеть, которая по точке в пространстве и направлению луча предсказывает цвет и плотность.
Gaussian Splatting оптимизирует множество 3D-гауссиан, которые напрямую кодируют форму и внешний вид.
При рендеринге NeRF вычисляет изображение через выборку вдоль лучей, а Gaussian Splatting — через проекцию и альфа-композицию гауссиан на экран.
Итог: NeRF чаще выигрывает в гибкости представления, Gaussian Splatting — в скорости и удобстве интерактивного просмотра.

Ключевые моменты:

NeRF — неявное представление сцены через нейросеть; Gaussian Splatting — явное представление через набор 3D-гауссиан.
Gaussian Splatting обычно значительно быстрее в рендеринге и часто быстрее в практической оптимизации.
NeRF исторически давал очень качественные результаты, но был тяжелее по вычислениям.
Gaussian Splatting хорошо подходит для интерактивного просмотра и real-time или near-real-time сценариев.
Оба подхода используют многовидовые изображения, но по-разному кодируют сцену и по-разному ее визуализируют.
На собеседовании важно подчеркнуть trade-off: NeRF — гибкость и качество, Gaussian Splatting — скорость и практичность.

Чем 3D Gaussian Splatting отличается от NeRF?