Luma AI Dream Machine — нейросеть для генерации видео. Сервис создаёт высококачественные и реалистичные ролики до 9 секунд из текста и изображений. ИИ генерирует последовательные кадры с учётом законов физики. Нейросеть Luma AI может оживить фото на основе первого и последнего кадров с учетом текстового описания.
Особенности Luma AI:
- Генератор видео. Luma AI Dream Machine способна интерпретировать сложные текстовые инструкции и применять их к визуальному контенту, обеспечивая высокую степень соответствия между запросом пользователя и конечным результатом. Понимание того, как люди, животные и объекты взаимодействуют с физическим миром, позволяет нейросети создавать видео с точной физикой.
- Технологичность. Одним из ключевых технических компонентов Luma AI является интеграция метода Neural Radiance Fields (NeRF), который позволяет восстанавливать детализированные трехмерные сцены из двумерных данных. Благодаря этой технологии, анимации, создаваемые Dream Machine, отличаются естественностью световых переходов и объемностью представления объектов.
- Доступные модели. Для генерации видео и оживления фото Luma использует модели Ray1.6 и Ray2. Нейросеть Ray1.6 создает видео длиной 5 секунд и разрешением 720p. Модель Ray2 генерирует видео в разрешение 540p и 720p. Длительность ролика составляет 5 или 9 секунд. Для генерации изображений используется модель Photon.
- Оживить фото. Пользователю необходимо загрузить изображения, указать текстовую инструкцию с желаемым действием. Далее нейросеть Luma AI оживит фото. Либо можно пойти другим путем: предоставить первый и конечный кадры.
- API. Luma AI можно интегрировать в свой проект. Доступны SDK для Python и JavaScript. Документация доступна по ссылке. Стоимость генерации зависит от выбранной модели и разрешения. Модель для генерации видео Ray1.6 обойдется в $0.4, а новейшая Ray2 — $0.8. Нейросеть для создания картинок Luma Photon стоит от $0.2 в зависимости от режима генерации.
Как оживить фото с помощью Luma AI:
- На основе одного изображения. Для оживления фотографий пользователю необходимо загрузить исходное изображение в Luma AI и сформулировать текстовое описание желаемого действия. Данный метод анимации отличается высокой гибкостью, позволяя пользователю детально описать характер движения объектов, перспективу камеры и другие аспекты желаемого результата.
- На основе 2 кадров. Данный метод обеспечивает более предсказуемый результат, поскольку Luma AI получает четкие визуальные ориентиры для начала и завершения анимационной последовательности. Пользователь должен загрузить начальный и конечный кадры. Далее Dream Machine сгенерирует плавный переход между ними. В описании можно добавить движение камеры или действие.
- Зацикливание. При грамотном подходе можно создать эффектное и бесконечное видео. Для включения функции зацикливания нажмите на кнопку «Loop».
- Улучшение видео. Режим Enhance предлагает улучшение видео до разрешения 4k. После загрузки видео система автоматически анализирует материал и применяет алгоритмы улучшения, направленные на повышение четкости, стабилизацию движения, улучшение цветопередачи и другие аспекты визуального качества.
- Расширение видео. После оживления фотографии с помощью нейросети Лума можно увеличить его длину. На выбор 2 варианта: указать инструкцию самостоятельно (добавить закат или ливень в конце сцены) или доверить Dream Machine завершение анимации.
Как правильно составить запрос к Luma AI:
- Основные принципы. При составлении промпта к Luma AI используйте естественный язык. Представьте, будто вы разговариваете с нейросетью. Рекомендуется начинать с краткого, но точного описания основной идеи, а затем добавлять детали, которые важны для достижения желаемого результата. Пример неудачного промпта: «Собака бежит по берегу, закат, реализм». Улучшенная версия: «Фотореалистичное изображение собаки на фоне заката». Не бойтесь экспериментировать. Нейросеть Luma отлично понимает подсказки.
- Рекомендации. Под строкой пользовательского ввода вы найдете опцию «Suggestions». В данном разделе присутствуют самые распространенные варианты инструкций для настройки угла обзора камеры, стилей, освещения и ракурса. Чем более детальным и конкретным будет описание этих аспектов, тем больше шансов получить результат, соответствующий ожиданиям.
- Персонажи. Luma AI умеет генерировать персонализированных персонажей. В меню выбора способа генерации выберите пункт «Reference» и загрузите фотографию лица. Далее в поле для промпта введите «@character» и укажите инструкцию, например: «Размести этого персонажа на фоне Кремля в ночное время».
- Изменение. Нажмите на изображение или видео и выберите пункт «Modify». Далее опишите изменения, которые желаете увидеть, например: «Добавить березу справа от лавочки» или «Убери людей с фона».
Luma AI предоставляет 400 кредитов, которых хватит на генерацию 2 видео или 100 изображений. Используя бесплатный план, пользователь столкнется с медленной обработкой запросов, наличием водных знаков, недопустимостью коммерческого использования и разрешением не более 720p. Минимальная стоимость подписки составляет $9.99.
