Что такое 4DAnyone
4DAnyone –проект для реконструкции человека в 4D по одному обычному видео, снятому на одну камеру. На вход система получает некалиброванную монокулярную запись, а на выходе формирует динамическую модель человека в представлении Gaussian Splatting.
Под 4D в данном случае понимается не только трёхмерная форма, но и движение во времени. Полученную реконструкцию можно рассматривать с новых ракурсов в разные моменты исходного ролика. Для работы метода не нужны риг, штатив, синхронизированный массив камер и заранее известные параметры съёмки.
Главная задача 4DAnyone – заменить сложную многокамерную студийную съёмку обработкой одного повседневного видео. Метод сначала синтезирует ролики с ракурсов, которых не было в исходной записи, а затем использует согласованные представления для обучения 4D Gaussian Splatting-модели.
Проект ориентирован прежде всего на исследователей в области компьютерного зрения и 4D-реконструкции, а также на специалистов по цифровым персонажам, анимации и обработке видеоданных.
Реконструкция 4D-человека из одного видео
4DAnyone принимает один монокулярный ролик с человеком и строит по нему 4D-реконструкцию. В традиционных сценариях для аналогичной задачи применяют несколько синхронизированных и откалиброванных камер, расположенных вокруг объекта. Нужна всего обычная видеозапись.
Одна камера не может показать человека со всех сторон, поэтому системе необходимо восстанавливать недостающие представления на основе исходного клипа. Метод использует информацию о движении и внешнем виде персонажа, чтобы подготовить данные для дальнейшей динамической реконструкции.
Технология рассчитана на human-centric-видео с умеренным движением камеры, неизвестными внутренними параметрами и позами камеры.
Генерация согласованных ракурсов
Перед обучением 4D-модели 4DAnyone создаёт видео с целевых точек обзора – то есть имитирует записи, которые могли бы быть сняты камерами вокруг человека. Эти синтезированные ролики должны сохранять общую структуру персонажа при смене ракурса.
Для 4D-реконструкции недостаточно, чтобы каждый отдельный кадр выглядел правдоподобно. Если в разных видах меняются пропорции тела, поза, одежда или детали внешности, ошибки будут накапливаться и ухудшат итоговую модель. Поэтому одна из ключевых задач проекта – поддерживать многовидовую согласованность.
Для этого в 4DAnyone поддерживаются механизмы Reference Context Packing и Target Context Routing. Первый сжимает растущий контекст опорных представлений до фиксированного вычислительного бюджета, а второй передаёт контекст между отдельными группами генерируемых ракурсов.
Проще говоря, новые виды не создаются полностью изолированно: ранее сгенерированные представления могут использоваться как опора для последующих. Это должно снижать риск того, что форма человека будет заметно «дрейфовать» между разными группами ракурсов.
Использование 3D-скелета как геометрической опоры
Чтобы контролировать геометрию человека при генерации новых ракурсов, 4DAnyone извлекает из исходного видео 3D-скелет. Он служит разреженной, но структурно важной подсказкой, которая задаёт положение тела и помогает сохранить позу персонажа в разных представлениях.
Такой подход может быть устойчивее использования плотных карт глубины и неточных параметров камеры. В повседневных роликах эти данные часто оказываются ненадёжными: ошибки в оценке глубины или положения камеры способны привести к несовпадениям между синтезированными видами.
В рабочем процессе исходный клип передаёт движение и визуальный контекст, 3D-скелет фиксирует ключевую геометрию тела, а генератор создаёт дополнительные ракурсы с учётом этой структуры. После этого новые видео участвуют в построении динамической 4D-модели.
Построение 4D Gaussian Splatting-модели
На финальном этапе 4DAnyone обучает 4D Gaussian Splatting-модель по сгенерированным многовидовым видео. В проекте для этого используется FreeTimeGS. Итог представляется как 4DGS-реконструкцию человека, которую можно визуализировать с новых точек обзора в разные моменты времени.
Таким образом, система не ограничивается созданием отдельных кадров или роликов с другого угла. Её цель – объединить исходное видео и синтезированные представления в единое динамическое описание движущегося человека.
4DAnyone превосходит предыдущие SoTA-методы по качеству генерации видео с новыми ракурсами и по последующей 4DGS-реконструкции.
Условия использования 4DAnyone
4DAnyone распространяется полностью бесплатно.
Проект имеет открытый исходный код (open-source).
Часто задаваемые вопросы
Что такое 4DAnyone?
4DAnyone – это проект для реконструкции человека в 4D по одному обычному видео, снятому на одну камеру. Он формирует динамическую модель в представлении Gaussian Splatting, которую можно просматривать с новых ракурсов в разные моменты движения. Для исходной съёмки не нужны риг, штатив, синхронизированный массив камер или известные параметры камеры.
Для чего нужен 4DAnyone?
4DAnyone нужен для подготовки 4D-реконструкции движущегося человека на основе одной монокулярной видеозаписи. Метод генерирует недостающие виды персонажа, а затем использует согласованные видео для построения единой динамической модели. Его задача – сократить зависимость от сложной многокамерной студийной съёмки.
Какие возможности 4DAnyone заявлены разработчиками?
Ключевые возможности 4DAnyone – реконструкция человека из одного видео, генерация роликов с новых ракурсов и обучение 4D Gaussian Splatting-модели. Для контроля геометрии метод извлекает из исходной записи 3D-скелет человека. Согласованность между группами сгенерированных ракурсов поддерживают механизмы Reference Context Packing и Target Context Routing.
Как 4DAnyone сохраняет форму человека при генерации новых ракурсов?
Метод использует 3D-скелет, извлечённый из исходного видео, как геометрическую опору для каждого нового вида. Он задаёт положение и структуру тела, помогая снизить расхождения между ракурсами. Дополнительно контекст передаётся между группами генерации, чтобы форма персонажа не «дрейфовала» по мере создания новых представлений.
Кому подойдет 4DAnyone?
4DAnyone может быть интересен исследователям компьютерного зрения и 4D-реконструкции, а также специалистам по цифровым персонажам и обработке видеоданных. Проект ориентирован на работу с видео, где в кадре находится человек.
Сколько стоит 4DAnyone?
4DAnyone распространяется полностью бесплатно.
Чем 4DAnyone отличается от традиционной 4D-реконструкции?
Традиционные подходы к 4D-реконструкции часто опираются на несколько синхронизированных и откалиброванных камер. 4DAnyone использует одну обычную монокулярную запись и сначала синтезирует согласованные виды с отсутствующих ракурсов. Затем эти представления применяются для обучения 4D Gaussian Splatting-модели.