Relit-LiVE: Новый подход к повторному освещению видео

## Перевод abstract Недавние достижения показали, что модели диффузии видео большого масштаба могут быть переиспользованы в качестве нейронных рендеров, сначала разлагая видео на внутренние сцены представления, а затем выполняя прямой рендеринг при новом освещении. Хотя это многообещающе, данный подход в корне зависит от точного внутреннего разложения, которое остается крайне ненадежным для реальных видео и часто приводит к искаженным изображениям, нарушенным материалам и накопленным временным артефактам во время повторного освещения. В данной работе мы представляем Relit-LiVE, новую рамочную систему для повторного освещения видео, которая производит физически согласованные и временно стабильные результаты без необходимости предварительного знания положения камеры. Наша ключевая идея заключается в явном введении сырых эталонных изображений в процесс рендеринга, что позволяет модели восстанавливать критические сцены подсказки, которые неизбежно теряются или искажаются в внутренних представлениях. Более того, мы предлагаем новую формулировку предсказания видео окружения, которая одновременно генерирует повторно освещенные видео и карты окружения для каждого кадра, выровненные с каждой точкой обзора камеры в одном процессе диффузии. Это совместное предсказание обеспечивает сильное геометрическое-освещенческое соответствие и естественно поддерживает динамическое освещение и движение камеры, значительно улучшая физическую согласованность в повторном освещении видео, при этом облегчая требования к известному положению камеры для каждого кадра. Обширные эксперименты показывают, что Relit-LiVE постоянно превосходит современные методы повторного освещения видео и нейронного рендеринга на синтетических и реальных бенчмарках. Кроме повторного освещения, наша рамочная система естественным образом поддерживает широкий спектр последующих приложений, включая рендеринг на уровне сцены, редактирование материалов, вставку объектов и потоковое повторное освещение видео. Проект доступен по адресу https://github.com/zhuxing0/Relit-LiVE. ## Ключевые выводы 1. Relit-LiVE предлагает новый подход к повторному освещению видео, не требуя предварительного знания положения камеры, что упрощает процесс рендеринга. 2. Введение сырых эталонных изображений в процесс рендеринга позволяет восстанавливать важные сцены подсказки, которые теряются в традиционных подходах. 3. Совместное предсказание повторно освещенных видео и карт окружения для каждого кадра улучшает физическую согласованность и поддерживает динамическое освещение. 4. Эксперименты показывают, что Relit-LiVE превосходит существующие методы в задачах повторного освещения видео и нейронного рендеринга. 5. Разработанная система имеет широкий спектр приложений, включая рендеринг, редактирование и потоковое повторное освещение видео. ## Практическая значимость Разработка Relit-LiVE может быть полезна в различных областях, таких как киноиндустрия, видеоигры, анимация и виртуальная реальность, где требуется динамическое освещение и реалистичное рендеринг сцен. Инструмент может облегчить работу художников и разработчиков, позволяя им создавать более качественные визуализации и улучшая процесс редактирования материалов и объектов в видео. ## Ограничения и критика Несмотря на свои достижения, работа не рассматривает возможные ограничения, связанные с качеством входных видео, таких как шум или артефакты, которые могут повлиять на конечный результат. Также не обсуждаются вопросы производительности и вычислительных затрат, что может быть критично для применения в реальном времени. Кроме того, отсутствие анализа в условиях сложного освещения и динамичных сцен может ограничивать универсальность предложенного подхода.