Что такое Odyssey-3
Odyssey-3 – нейросеть-модель мира, предназначенная для моделирования физических окружений и предсказания того, как объекты движутся, взаимодействуют и меняются со временем. Она принимает визуальные наблюдения, текстовые подсказки и действия, после чего генерирует дальнейшее развитие сцены.
Главная задача сервиса – предоставить разработчикам среду для изучения поведения машин, обучения политик управления и проверки реакций агентов на события. Odyssey-3 ориентирована прежде всего на разработчиков автономных устройств: роботов, гуманоидов, автомобилей, дронов и других систем, которые действуют в физическом пространстве.
Это learned dynamical model – обученная динамическая модель. В её основе лежит авторегрессионный diffusion transformer: он продолжает последовательность наблюдений и прогнозирует будущие состояния мира с учётом действий пользователя или агента.
Если проще, Odyssey-3 старается не просто генерировать видео. Ей нужно поддерживать причинно связанную симуляцию: объект сдвинули, произошло столкновение или изменились условия – и окружение должно отреагировать на это правдоподобным образом.
Ключевое отличие Odyssey-3 от привычных генераторов роликов – интерактивность в реальном времени. Пользователь или агент может перемещаться по созданному окружению, добавлять события в процессе генерации и сразу видеть реакцию модели. Поддерживается навигация от первого и третьего лица, а также свободное перемещение камеры.
Ключевые возможности Odyssey-3
Генерация интерактивных окружений в реальном времени
Odyssey-3 создаёт воплощённые виртуальные окружения по текстовому запросу и прогнозирует, как они изменятся после действий человека или агента. Для этого модель учитывает предыдущие наблюдения вместе с новыми входными данными.
Такой подход полезен в задачах, где важно проверить не отдельную картинку, а цепочку последствий: что произойдёт после перемещения, столкновения, смены положения объекта или другого события.
На практике пользователь может запустить генерацию сцены, пройти по ней или вмешаться в происходящее прямо во время работы модели. Например, разработчик задаёт окружение для агента, добавляет событие и наблюдает, как мир меняется в ответ на действие.
Есть режимы навигации от первого и третьего лица. Независимое движение камеры позволяет рассматривать предсказания модели под разными углами.
Предсказание физического поведения объектов
Модель обучали на визуальных данных, чтобы она формировала представления о физике, динамике и причинно-следственных связях. Odyssey-3 предсказывает движение объектов, их взаимодействие в пространстве и развитие ситуаций во времени.
Компания тестировала Odyssey-3 Pro на Physics-IQ Verified – бенчмарке video-to-video, в котором модели продолжают записи реальных физических экспериментов. Тест включает гидродинамику, оптику, механику твёрдых тел, магнетизм и термодинамику, а результат сопоставляется с тем, что действительно произошло.
Odyssey-3 Pro получила 66,1 балла на Physics-IQ Verified, а в режиме image-to-video – 54,7 балла. В собственной оценке компании модель также заняла первое место в трёх из четырёх категорий WorldMark.
Адаптация под роботов, гуманоидов и автомобили
Odyssey-3 можно адаптировать к физическому устройству с помощью декодера действий или политики управления, обученной на парах «наблюдение – действие». Эти дополнительные компоненты переводят знания модели о мире в команды, понятные конкретной машине.
Одна базовая модель, по сути, может стать основой для разных сценариев, если дообучить её под нужное тело, набор датчиков и способ управления.
Пример с роботизированной рукой: после обучения на нескольких десятках часов демонстраций модель выполняла манипуляционные задачи и показывала восстановительное поведение, которого в исходных примерах не было.
Генерация согласованных данных с нескольких камер
Odyssey-3 можно адаптировать для генерации наблюдений под определённую конфигурацию сенсоров. Это даёт возможность получать не один видеопоток, а набор связанных представлений одной сцены, снятых разными камерами.
Функция может быть полезна при разработке автономного транспорта и других устройств, которым необходимо одновременно анализировать несколько ракурсов. В таком случае камеры будут показывать согласованную версию одного и того же события.
В раннем эксперименте компания использовала данные с трёх передних камер из набора данных для автономного вождения. Контрольная точка Odyssey-3 после 100 шагов обучения генерировала последовательности движения, в которых все три ракурса создавались совместно.
Один из возможных сценариев применения – подготовка визуальных эпизодов для обучения или проверки алгоритмов, использующих несколько камер автомобиля.
Создание среды для обучения агентов
Odyssey-3 может выступать средой, в которой агент наблюдает окружение, выбирает действия и оценивает последствия собственных решений. Агент получает цель на естественном языке и пытается выполнить её внутри сгенерированного мира.
Модель мира нужна здесь для исследования того, как агент реагирует на изменения, ориентируется в визуальной среде и справляется с поставленной задачей на последовательности шагов.
Например, разработчик формулирует цель текстом, а агент ищет способ её достичь, опираясь на сгенерированную сцену и результаты своих действий. Такой подход позволяет анализировать не только финальный ответ агента, но и его поведение в процессе выполнения задачи.
Условия использования Odyssey-3
Облегченную версию Odyssey-3 Flash можно протестировать совершенно бесплатно в режиме онлайн прямо в браузере.
Полноценные API-ключи для интеграции моделей в сторонние приложения, робототехнику или игровые движки выдаются разработчикам в индивидуальном порядке по запросу.
Часто задаваемые вопросы
Что такое Odyssey-3?
Odyssey-3 – это нейросеть-модель мира, которая моделирует физические окружения и предсказывает развитие сцены после действий пользователя или агента. Она принимает визуальные наблюдения, текстовые запросы и действия, а затем генерирует следующие состояния среды. В отличие от обычных генераторов видео, модель ориентирована на причинно связанную симуляцию происходящего.
Для чего нужен Odyssey-3?
Odyssey-3 нужен для изучения поведения машин, обучения политик управления и проверки реакции агентов на изменяющиеся условия. С его помощью можно создавать виртуальные сцены, выполнять в них действия и наблюдать последствия: например, перемещения, столкновения или изменения положения объектов. Такой подход может быть полезен при разработке роботов, автомобилей, дронов и других автономных устройств.
Кому подойдет Odyssey-3?
Сервис в первую очередь рассчитан на разработчиков автономных систем и исследователей в области ИИ и робототехники. Он может быть интересен командам, которые работают с роботизированными руками, гуманоидами, беспилотными автомобилями, дронами или агентами, принимающими решения в визуальной среде.
Какие возможности Odyssey-3 заявлены?
К возможностям Odyssey-3 относятся создание интерактивных окружений по текстовому запросу, прогнозирование физического поведения объектов и навигация от первого или третьего лица. Модель также можно адаптировать под конкретное устройство и его способ управления с помощью декодера действий или политики, обученной на данных «наблюдение – действие». Отдельно есть генерация согласованных наблюдений с нескольких камер для одной сцены.
Чем Odyssey-3 отличается от обычных нейросетей для генерации видео?
Odyssey-3 не ограничивается созданием заранее заданной видеопоследовательности. Модель продолжает сцену с учётом новых действий, поэтому пользователь или агент может взаимодействовать с окружением во время генерации и видеть реакцию мира. Её задача – моделировать развитие ситуации и взаимосвязь событий, а не только создавать визуально правдоподобный ролик.
Как пользоваться Odyssey-3?
Доступен исследовательский предварительный просмотр: в нём можно задать окружение текстовым запросом и взаимодействовать с созданной сценой. Также можно запросить API-доступ.
Можно ли использовать Odyssey-3 для обучения роботов и автомобилей?
Модель можно адаптировать под робота, гуманоида или автомобиль, дополнительно обучив декодер действий либо политику управления на парных данных наблюдений и действий.
Поддерживает ли Odyssey-3 несколько камер?
Odyssey-3 можно адаптировать для генерации связанных наблюдений одной сцены с нескольких камер. В раннем эксперименте компания использовала данные трёх передних камер из набора данных для автономного вождения и совместно генерировала последовательности для всех ракурсов.
Есть ли бесплатный тариф Odyssey-3?
Облегченную версию Odyssey-3 Flash можно протестировать совершенно бесплатно в режиме онлайн прямо в браузере.
Сколько стоит Odyssey-3?
Стоимость и полноценные API-ключи для интеграции моделей в сторонние приложения, робототехнику или игровые движки выдаются разработчикам в индивидуальном порядке по запросу.