Runway ML — нейросеть, создающая видео из текста и/или фотографии. Платформа предлагает огромное количество функций: удаление фона, оживление фото, редактирование видео, удаление объектов, эффект замедленной съёмки, обучение своей модели и многие другие. Runway AI позволяет экспортировать видео в высоком разрешении.
Возможности Runway:
- Доступные модели. Платформа построена на основе модели Gen-3 Alpha, ставшей прорывом в сфере генерации видео. Также можно использовать Gen-2, Gen-3 Alpha Turbo, и вскоре станет доступна новая Gen-4. Модели отличаются детализацией, соответствием промпту, длительностью и степенью контроля над процессом генерации.
- Motion Brush. Оживите лишь некоторые детали изображения с помощью Runway AI. Обведите с помощью кисти нужные элементы, и нейросеть сгенерирует видео, заставив двигаться выбранные детали. Вы можете контролировать перемещение по горизонтали, вертикали и сближение, выбирая значения от -10 до +10.
- Удаление фона. Для графического дизайна, маркетинга или создания материалов для сайта часто требуется лишь главный объект. У Runway ML есть решение и для этой проблемы. Нейросеть удалит фон с видео всего за несколько секунд. Данная функция доступна только в платной версии.
- Удаление объектов. Сгенерировали удачное видео, но хотите избавиться от некоторых элементов? Runway способен справиться с этой задачей. Нейросеть удалит с видео текст, людей, здания и любые другие объекты. Вам нужно лишь выделить их кистью. Функция доступна только по подписке.
- Оживить изображение. Нейросеть запросто оживляет фотографии и изображения. Вам нужно лишь загрузить картинки, из которых Runway создаст анимацию. Например, можно загрузить фотографии лица человека в разные годы, чтобы увидеть возрастные изменения в формате видео. Чем больше изображений загрузите, тем лучше результат.
- Замедленная съёмка. Создайте эффект замедленной съёмки с помощью нейросетей. Загрузите видео или выберите из своих проектов, укажите желаемую скорость, и Runway через несколько секунд приготовит результат, который можно экспортировать.
Эволюция моделей Runway: от Gen-2 до Gen-4
Gen-2: первые шаги в генерации видео
Gen-2 — это предыдущее поколение технологии Runway AI, которое позволяло пользователям создавать видео на основе текстовых промптов или изображений. Модель имела базовые функции по генерации видеоконтента, хоть и с определенными ограничениями. Runway Gen-2 умеет:
-
Создавать короткие видеоклипы на основе текстовых описаний;
-
Оживлять статичные изображения;
-
Регулировать соотношение сторон;
-
Имитировать простые движения камеры.
В Gen-2 пользователи могли генерировать видео с определенными настройками, включая zoom и движение камеры, однако результаты часто содержали заметные артефакты, особенно при сложных движениях камеры или детализированном фоне. Но в то же время выход Gen-2 ознаменовал революцию в сфере генерации видео.
Gen-3 Alpha: большой шаг вперед
Gen-3 Alpha представляет собой значительный эволюционный скачок в генерации видео. Эта модель была обучена с участием профессионалов киноиндустрии, что позволило ей достичь нового уровня качества и реализма. Особенности Gen-3 Alpha:
- Повышение качества генерируемых видео;
- Плавные и логичные переходы между кадрами;
- Более реалистичное взаимодействие между объектами с учетом законов физики;
- Поддержка различных стилей и эффектов;
- Естественная мимика и эмоции.
Далее была представлена Runway Gen-3 Alpha Turbo, предоставляющая доступ к ускоренной генерации видео.
Gen-4: вперед к созданию кино
Runway Gen-4 идет продолжает идти по пути повышения качества генерации видео. Особенности Gen-4:
- Runway Gen-4 позволяет создавать персонажей в различных условиях освещения, локаций и способов обработки. Для этого потребуется лишь одно эталонное изображение;
- Gen-4 может использовать одни и те же настройки окружения для генерации новых видео. Это позволяет создать полноценный фильм на основе множества коротких видео;
- Улучшенное соблюдение законов физики реального мира;
- Создание изображений в разных условиях. Например, можно использовать для подготовки фотографий товара;
- Генерация сцен на основе референсного изображения объектов и описания композиции кадра.
Как мы видим, Runway Gen-4 движется в направлении генерации полноценных фильмов. Возможность создания последовательных сцен с сохранением объектов и персонажей открывает возможность для склеивания полноценных картин из коротких роликов.
Преимущества Runway ML:
- Функциональность. Самый полный набор функций для обработки видео среди конкурентов;
- Множество настроек. Пользователи могут выбирать различные соотношения сторон, стили, эффекты и настройки камеры для достижения желаемого результата;
- Качество генерации. Разработчики с каждой новой моделью поднимают уровень детализации видео. Runway создает реалистичные видео с учетом законов физики;
- Эмоции. Движения, эмоции и мимика выглядят вполне естественно. При грамотном подборе промптов может показаться, что это настоящее кино, а не генератор видео.
Недостатки Runway ML:
- Стоимость. При регистрации выдается 465 кредитов, которые не восполняются. Некоторые функции в бесплатной версии недоступны. Минимальная стоимость подписки составляет $15, но она предоставляет всего 625 кредитов в месяц, которых среднему пользователю будет недостаточно. За 2250 кредитов придется заплатить $35;
- Длительность видео. Runway Gen-3 Alpha генерирует видео длиной до 10 секунд. А Gen-2 выдаст кино длиной всего на 4 секунды;
- Сложные сцены. Несмотря на улучшения, при определенных настройках (например, сложные движения камеры) могут возникать заметные артефакты, снижающие качество результата;
- Соотношение сторон. Пользователи не могут задавать произвольные соотношения сторон, а вынуждены выбирать из предустановленных вариантов.
