Webcam Motion Capture

Андрей Ракитин

ML-инженер и автор блога

Сфера:

Анализ видео

Задача:

Анализировать видео

Тип преобразования:

Условия использования:

Freemium

Попробовать

Webcam Motion Capture — сервис для управления 3D-аватарами с помощью веб-камеры. Нейросеть захватывает движения пользователя в реальном времени и передает данные при стриминге или создании видео. Приложение доступно для Windows и MacOS. Присутствуют настройки для снижения нагрузки на устройство.

Особенности сервиса:

Захват движений. Программное обеспечение использует нейросеть для отслеживания движений рук и пальцев в реальном времени. Передача эмоций через 3D-аватары осуществляется благодаря ИИ-функциях для захвата мимики, направления взгляда и движений головы.
Передача данных. Webcam Motion Capture может отправлять данные отслеживания в другие приложения, поддерживающие VMC-протокол, что позволяет интегрироваться с различными программами и игровыми движками. Пользователи могут сохранять данные захвата движений в формате FBX для использования в программах для 3D-анимации.
Подготовка аватара. Для создания 3D-аватара рекомендуется использовать бесплатное приложение VRoid Studio. Затем нужно экспортировать аватар в формате vrm и импортировать в Webcam Motion Capture.

Базовые функции можно использовать бесплатно. Подписка требуется, если нужно скрыть пользовательский интерфейс, например, для стримов или использовать данные отслеживания во внешних приложениях.

Похожие нейросети

SayMotion

SayMotion - нейросеть для создания 3D-анимаций. Инструмент является одним из лучших решений в сфере генерации трехмерных моделей. Нейросеть генерирует анимации длительностью от 10 до 360 секунд. Доступен экспорт в форматах FBX, GLB, BVH и MP4. Полученные 3D-анимации можно редактировать с помощью текстовых инструкций.

Immersity AI

Immersity AI - инструмент для оживления изображений и конвертации в 3D. Сервис вдохнет жизнь в фотографии с помощью нейросетей и технологии Neural Depth Engine. AI-инструмент превращает 2D-изображения в 3D, добавляя движение камеры и придавая эффект глубины. Аналогичный функционал предоставлен и для видео.

MIDI 3D

MIDI 3D - бесплатная нейросеть для создания трехмерных моделей. Инструмент разработан компанией VAST-AI Research для решения задачи преобразования одиночного изображения в трехмерную сцену. MIDI умеет одновременно превращать множество объектов на картинке в 3D-модели с сохранением взаимного расположения.

Meshy

Meshy - нейросеть, создающая 3D модели из текста или изображения. Платформа поддерживает генерацию моделей в огромном количестве художественных стилей. Кроме того, приложение предлагает автоматическое текстурирование. Разработчики предоставили подробную документацию и обучение. Присутствует API.