Нейросеть сделает видеопоздравление от знаменитости

Видеопоздравление от знаменитостей с помощью ИИ

Ким Чен Ын поздравляет Трампа с Новым годом. Арт от нейросети
Фотография автора

ML-инженер и автор блога

Иконка глаза 146 просмотров
Иконка календаря

В последние годы наблюдается стремительный рост интереса к персонализированным видеопоздравлениям, особенно с участием знаменитостей. Этот тренд обусловлен несколькими факторами, среди которых — развитие искусственного интеллекта, изменение потребительских предпочтений и появление новых инструментов для создания уникального контента.

Многие звёзды шоу-бизнеса, спорта и других сфер могут записать короткое и теплое видеопоздравление, но стоимость такого подарка может достигать нескольких сотен тысяч рублей. Но можно пойти другим путём — сгенерировать персональный ролик самостоятельно. Задача сводится к созданию дипфейк-видео с голосом знаменитости с помощью нейросети.

В идеале, ИИ-сервис для создания видеопоздравлений должен обладать следующими функциями:

  • Клонирование голоса. Потребуется копировать голос знаменитости на основе аудиозаписи. Далее образец голоса будет использован для генерации ролика;
  • Оживление фотографии. Без этой функции ничего не выйдет. Мы должны загрузить фото звезды, написать сценарий поздравления и получить видео;
  • Синхронизация речи. Технология LipSync позволяет получить естественные движения губ, соответствующие произносимым звукам. Такое видеопоздравление будет выглядеть более реалистичным.

В рамках данной статьи мы делаем акцент на нейросетях с возможностью бесплатно получить хоть какой-то результат. Обратим внимание на подготовку сценария поздравления, доработку видео, этические и юридические аспекты.

Как сделать поздравление от знаменитости с помощью нейросети

Приступаем к обзору ИИ-сервисов для генерации персональных поздравлений. Протестируем каждое приложение на популярных случаях и составим пошаговый план действий для получения лучшего результата.

HeyGen

Создание видео поздравления с помощью нейросети HeyGen

HeyGen — популярная нейросеть для генерации видео и создания ИИ-аватаров. Сервис превращает фотографии лиц в реалистичные аватары, способные озвучить любой сценарий. Присутствует синхронизация губ и мимики. На данный момент в HeyGen нет фильтров, ограничивающих использование фотографий медийных личностей, что позволяет нам реализовать поставленную задачу.

Попробуем создать видео поздравление от Президента России Владимира Путина с помощью нейросети. Мы будем использовать HeyGen в связке с сервисом для использования голосов известных персон FineVoice.

Создание аудиозаписи поздравления голосом Путина

Переходим на страницу с голосом Президента. Далее вводим пожелания нашему имениннику, в нашем случае: «Дорогой Алексей, поздравляю тебя с Днем рождения». Обратите внимание, что при использовании бесплатной версии количество символов ограничено до 250.

Генерация поздравления голосом Путина с помощью ИИ

Через несколько секунд голосовое поздравление от Президента будет готово. Можно прямо в браузере послушать аудио, но оно проигрывается в ускоренном варианте. Далее загружаем его в формате WAV и переходим к следующему этапу.

Создание видеопоздравления с Днем рождения от Путина с помощью нейросети

Первым делом подбираем фото хорошего качества. HeyGen принимает фотографии даже в высоком разрешении, поэтому мы использовали фото Владимира Путина разрешением 4096 на 2304 пикселей. Рекомендуем использовать фотографии с четко различимым лицом и взглядом, направленным в камеру. Чем выше качество изображения, тем меньше артефактов будет в полученном видео поздравлении.

Владимир Путин стоит в кабинете

После выбора фотографии заходим на сайт HeyGen и выбираем функцию «Photo to Video with Avatar IV». В левой части появившегося окна загружаем изображение, подготовленное на предыдущем шаге. Далее есть 2 варианта:

  • Ручной ввод текста поздравления. В данном случае придется использовать один из доступных голосов или создать новый на основе аудиозаписи. Но данная функция доступна только в платном тарифе;
  • Загрузка аудио. Используем заранее подготовленную запись с голосом Владимира Путина и текстом поздравления. Это наш вариант. 

Процесс создания видео поздравления нейросетью

После загрузки голосового поздравления и фотографии запускаем генерацию видео. Обычно на это требуется на более 1-2 минут. В это время можно исследовать другие функции HeyGen, например, создание гиперреалистичных ИИ-аватаров.

Качество видеопоздравления от нейросети очень впечатляет. Добавлена мимика, жестикуляция (хоть и однообразная), а речь синхронизирована с движением рта. Если придраться, то можно заметить небольшое «плавание» лица. Видео получилось в разрешении 1280 × 720 пикселей, что является неплохим вариантом для бесплатного тарифа.

В нижнем правом углу видеооткрытки мешается водяной знак с названием сервиса. Данный недостаток присутствует только в бесплатном тарифе. Надо же как-то убеждать покупать подписку. Если хотите избавиться от водяного знака, попробуйте AniEraser.

Далее экспортируйте поздравление и отправляйте родственникам и друзьям. В ближайшее время разработчики планируют добавить функцию перевода видео на другой язык. Она доступна в HeyGen, но не для такого типа роликов.

Условия использования. Можно сгенерировать 3 видеопоздравления бесплатно каждый месяц. Длительность ролика не превышает 10 секунд. Минимальный тариф обойдется в $29. Позволяет сгенерировать до 10 роликов длительностью 60 секунд. 

Страница сервиса: https://www.heygen.com

Преимущества HeyGen:

  • синхронизация губ и мимики;
  • возможность бесплатно создать видеопоздравление от знаменитости;
  • разрешение видео от 720p до 4k;
  • наличие API.

Недостатки HeyGen:

  • всего 10 секунд видео в бесплатной версии.

Sync

Главный экран сервиса для синхронизации губ Sync

Sync — нейросеть для синхронизации губ с аудиодорожкой. В научном сообществе это называется LipSync. Метод полезен для дубляжа, локализации контента и создания мультиязычных версий видеоматериалов. При этом сохраняется естественность мимики. Мы же будем использовать технологию LipSync для создания поздравления с юбилеем от Дональда Трампа.

Задачу можно разбить на 3 этапа:

  1. Создание аудио с поздравлением голосом Трампа;
  2. Подготовка исходного видео с учетом требований;
  3. Синхронизация движения губ с аудиозаписью поздравления.

Генерация аудио с поздравлением голосом Трампа

Как и в предыдущем случае, требуется получить аудиодорожку с поздравлением Трампа. Воспользуемся генератором речи Президента США в сервисе FineVoice. Мы использовали текст с пожеланиями на русском языке: «Господин Андрей, поздравляю Вас с юбилеем. Желаю крепкого здоровья, несметного богатства и построить башню выше моей».

Создание голосового поздравления Трампа нейросетью

Через несколько секунд мы получили аудиозапись с голосом Трампа продолжительностью 9 секунд. Стоит отметить американский акцент, который будет изюминкой нашего видеопоздравления. Скачиваем файл и переходим к следующему шагу.

Подготовка исходного видео

Выбор подходящего ролика является важнейшим моментом. В идеале, в исходном видео Дональд Трамп должен как можно чаще смотреть в камеру (а он любит вращать голову на 360 градусов), а в кадре должна быть верхняя половина тела. Мы выбрали отрывок из этого YouTube-видео с выступлением.

Обратите внимание, что желательно использовать видео той же длины, что и аудиозапись с предыдущего шага. На следующем шаге мы объясним причину этого неудобства. Обрежем исходное видео с помощью сервиса Online Video Cutter.

Обрезка видео в онлайн-сервисе

Для обрезки видео не нужно устанавливать приложение на свой компьютер. Обработка происходит в браузере. Доступен выбор временного интервала, кадрирование и загрузка практически любых форматов.

Создание видеопоздравления с юбилеем от Трампа с помощью нейросети

Зайдите на главную страницу сервиса Sync и пройдите быструю процедуру регистрации. Далее вас перекинет на обучающее видео, из которого нужно выйти. Далее выполните следующие шаги:

  • Создайте новый проект;
  • Загрузите исходное видео, полученное на предыдущем шаге;
  • Добавьте подготовленное аудио с поздравлением. Кнопка для загрузки находится в нижней части страницы;
  • Справа от панели с аудиодорожкой нажмите на кнопку генерации синего цвета. 

Процесс создания видеопоздравления от Трампа с помощью ИИ

В 2025 году сервис предлагает 4 модели для синхронизации движения губ и текста. По умолчанию используется новейшая модель lipsync-2, демонстрирующая лучшие результаты в сохранении уникального стиля спикера и позы. Скорость генерации — единственный параметр, по которому данная нейросеть проигрывает. Для скорейшего получения результата в ущерб качеству можно использовать lipsync-1.9.0-beta.

Параметр temperature позволяет вносить некоторую случайность в результат. Увеличение значения параметра ведет к большей креативности, но может приводить к весьма неприятным результатам.

Нейросеть сгенерировала видеопоздравление с юбилеем от Трампа, сохранив естественную мимику. Движения губ полностью совпадают с произносимыми словами. Артефакты заметят только придирчивые пользователи.

Желающие разработать свой продукт на базе технологии LipSync могут воспользоваться API.  Разработчики приготовили SDK для Python и JavaScript.

Условия использования. При регистрации выдаётся $5 на использование ресурсов сервиса. При использовании самой подвинутой модели стоимость обработки минут видео составляет $3. В бесплатном тарифе допустима синхронизация губ в видео длиной до 1 минуты. Для увеличения лимитов потребуется подписка, минимальная стоимость которой составляет $19.

Сайт: https://sync.so

Преимущества Sync:

  • выбор модели под потребности пользователя;
  • бесплатная генерация видеопоздравлений;
  • естественная мимика и совпадение движения губ с текстом поздравления;
  • быстрая обработка;
  • API для внедрения в свой продукт.

Недостатки Sync:

  • отсутствуют.

Улучшаем видеопоздравление

Сделать видеопоздравление с помощью нейросети — только половина работы. Если уделить достаточно внимания качеству и деталям, получатель навсегда запомнит этот подарок. Далее рассмотрим простые способы сделать нашу видеооткрытку привлекательнее.

Улучшение качества видеопоздравления с помощью нейросети

На этом шаге мы увеличим разрешение видео без потери качества. Используем нейросеть, предоставленную сервисом X-Design. После регистрации выдают 10 бесплатных кредитов.

Улучшение качества видеопоздравления с помощью ИИ-сервиса Video Enhancer

Загружаем видеопоздравление и запускаем процесс улучшения. Обработка 9-секундного ролика стоит 2 кредита. Через пару минут мы получили результат. Нейросеть увеличила разрешение видео в 2 раза. Конечное разрешение видеопоздравления составляет 2560 × 1440 пикселей. Радует, что артефактов больше не добавилось.

Добавление фоновой музыки

Создадим праздниченое настроение с помощью фоновой музыки. Используем сервис для обработки видео Flixier. Пройдите процедуру регистрации и создайте новый проект. Далее загрузите видеопоздравление.

Переходим во вкладку «Audio». Сервис предоставляет огромную библиотеку с мелодиями различного направления. В окне поиска введите запрос «Birthday» для получения музыки на тематику Дня рождения.

Добавление музыки к видеопоздравлению от Трампа

Для каждой записи доступно предварительное прослушивание. Выбираем подходящую мелодию и перемещаем в нижнюю часть панели, под кадры видео. Аудиозапись напорядок длиннее нашего видеопоздравления, поэтому обрезаем до нужной продолжительности.

Присутствует настройка скорости воспоизведения и эквалайзера, где можно выбрать один из вариантов или настроить вручную. Доступно улучшение качества речи и удаление фонового шума.

Стилизация видеопоздравления

Данный видеоредактор не ограничивается добавление фоновой музыки. Мы можем прокачать наше видеопоздравление от Трампа с помощью разнообразных креативных элементов.

Первым делом добавим анимацию перехода. Нам доступны различные эффекты: 3D, размытие, затухание, приближение, радиальные и другие. Можно добавить несколько переходов, если есть желение.

Добавление переходов к видеопоздравлению, сгенерированному нейросетью

Само собой разумеется, разрешается добавлять текст. Например, ФИО именинника. Для текста настраивается семейство, размер, обводка, тень и цвет шрифта. Доступны креативные предустановленные стили.

Если адресат поздравления любит смотреть видео без звука, то добавьте субтитры. Сервис автоматически генерирует субтитры и распознает язык спикера. Стиль и текст субтитров настраивается, также их можно загрузить отдельным файлом.

Проблемы нейросетей для генерации видеопоздравлений

Несмотря на развитие технологий искусственного интеллекта, генерация видеопоздравлений с участием знаменитостей сталкивается с рядом технических ограничений.

Генерация видеопоздравлений с несколькими знаменитостями в кадре

Современные сервисы для создания дипфейков используют продвинутые алгоритмы искусственного интеллекта для распознавания лиц в видео, однако их эффективность может снижаться при работе с групповыми сценами. Система может некорректно определять и обрабатывать перекрывающиеся лица или лица, показанные под нестандартными углами.

При генерации видеопоздравлений с участием нескольких знаменитостей одновременно возникает проблема согласованности взаимодействия между персонажами. Нейросеть должна не только корректно заменить каждое лицо, но и сохранить логику взаимодействия между ними, что значительно усложняет задачу и часто приводит к нереалистичным результатам.

Нейросети часто испытывают трудности при синхронизации движений губ с аудиодорожкой при обработке диалогов между людьми. Это особенно заметно, когда персонажи перебивают друг друга или говорят одновременно, что является характерной особенностью естественного общения.

Визуальные артефакты

Одной из наиболее распространенных проблем при генерации видеопоздравлений с помощью нейросети являются визуальные артефакты на границах между замененным лицом и исходным видеоматериалом. Эти артефакты могут проявляться в виде нечетких границ, несоответствий текстуры кожи или неестественных переходов цвета. Полностью избежать таких артефактов невозможно, особенно в динамичных ценах.

Если знаменитость совершает резкие движения головой, широко открывает рот или прикрывает лицо руками, видеопоздравление может содержать заметные искажения. Среди недостатков можно встретить:

  • Дрожание лица;
  • Временная потеря отслеживания лица;
  • Мерцание лица.

Разрешение и детализация видеопоздравлений

Хотя современные ИИ-сервисы для создания видеопоздравлений поддерживают разрешение до 4k (например, HeyGen), генерация в высоком качестве остается проблемой. При масштабировании видео до более высоких разрешений часто наблюдается потеря детализации, особенно в мелких элементах лица, таких как морщины, родинки или текстура кожи. Это снижает реалистичность итогового материала и может сделать знаменитость узнаваемой, но не полностью идентичной оригиналу.

Генерация видео является ресурсоемкой задачей. Поэтому приходится выбирать между качеством и скоростью генерации. При необходимости быстрого создания видеопоздравления может страдать общее качество визуальной составляющей.

Естественность движений и мимики

Временная когерентность — обеспечение последовательности и плавности изменений между кадрами. При генерации видеопоздравлений нейросети часто сталкиваются с трудностями в поддержании этой когерентности, что приводит к нежелательным скачкам или дрожанию изображения между последовательными кадрами.

Передача тонких эмоциональных состояний через мимику является одной из самых сложных задач для нейросетей. Микровыражения — кратковременные непроизвольные движения лицевых мышц, отражающие истинные эмоции, часто упускаются или некорректно воспроизводятся в сгенерированных видео. Изображение выглядит почти реалистичным, но вызывает дискомфорт из-за едва заметных отклонений от естественной мимики человека.

При создании поздравлений от знаменитостей это ограничение особенно критично, поскольку поклонники обычно хорошо знакомы с особенностями мимики и эмоциональной экспрессии своих кумиров, и любые несоответствия будут сразу заметны.

Этические и правовые аспекты использования дипфейков для поздравления

Человек в нейроклетке с поздравлениями на фоне

Нейросети для создания видеопоздравлений от медийных персон открывают широкое поле для творчества, но одновременно порождают множество этических дилемм и правовых рисков. Разберемся, как не опорочить честь кумира и не заработать солидный штраф.

Соблюдение этики при использовании нейросетей для создания видеопоздравлений от знаменитостей

Генерация ИИ-видео с лицом и голосом знаменитостей может задевать этические вопросы:

  • Использование образа кумира без согласия;
  • Дезинформация и подрыв общественного доверия;
  • Психологическое воздействие на знаменитостей.

Использование образа без согласия

Когда мы генерируем видео с известной личностью, мы фактически присваиваем себе право распоряжаться его или её визуальным представлением. Это нарушает фундаментальное право человека на контроль над собственным образом.

Знаменитости, несмотря на свой публичный статус, имеют право решать, как и где используется их внешность. Технология дипфейк фактически лишает их этого права, позволяя манипулировать их образом без ведома и согласия. Особенно проблематично это становится, когда сгенерированный контент содержит действия или высказывания, которые человек никогда не совершал, что может привести к недопониманию, и в некоторых случаях серьезно навредить его репутации.

Для избежания этических проблем в этой области необходимо:

  • Получить согласие знаменитости на использование внешности и голоса в видеопоздравлении;
  • Маркировать созданный с помощью ИИ ролик с помощью водяных знаков;
  • Использовать технологию только для создания позитивного контента, не порочащего честь и достоинство человека.

Дезинформация

Технологии искусственного интеллекта развиваются семимильными шагами, и зачастую люди не могут отличить подлинное видео от подделки. Это создает благодатную почву для дезинформации.

Реалистичные видеопоздравления со знаменитостями могут вводить аудиторию в заблуждение, заставляя верить в то, что между создателем контента и знаменитостью существует определенная связь или одобрение. Это особенно проблематично, когда такие видео используются в коммерческих целях или для продвижения определенных идей или продуктов.

Как минимизировать проблему дезинформации:

  • Необходимо всегда сопровождать сгенерированное видео ясной пометкой о том, что это дипфейк;
  • Воздержаться от генерации видеоконтента, который может быть интерпретирован как подлинное высказывание или поддержка знаменитостью какого-либо продукта, идеи или организации;
  • Минимизировать круг лиц, которые увидят видеопоздравление от знаменитости, сгенерированное нейросетью.

Психологическое воздействие

Знаменитости, обнаруживающие свои поддельные видео в сети, могут испытывать стресс, тревогу и чувство нарушения личных границ. Особенно травматичным это может быть, когда контент носит оскорбительный или унизительный характер.

Знаменитости вынуждены постоянно мониторить сеть на предмет неправомерного использования их образа, что создает дополнительную психологическую нагрузку.

Для снижения негативного психологического воздействия:

  • Избегать генерации видеопоздравлений, оскорбляющих или унижающих звезд;
  • По возможности уведомлять объект дипфейка о создании такого контента и учитывать его пожелания.

Правовая ответственность при использовании ИИ для генерации дипфейков со звездами

Робот рисует картину со знаменитостью, Фемида на фоне

В современном российском законодательстве нет специальных норм, напрямую регулирующих создание и распространение дипфейков. Однако это не означает, что создатели подобного контента не несут юридической ответственности. Регулирование осуществляется через существующие правовые механизмы защиты чести, достоинства, деловой репутации, авторских и смежных прав, а также защиты персональных данных.

Отсутствие специального регулирования создает определенный правовой вакуум, который в настоящее время заполняется за счет применения общих норм гражданского, административного и уголовного права. На практике это может приводить к противоречивым судебным решениям и неопределенности для создателей контента.

Нарушение неимущественных прав личности

При создании видеопоздравлений с использованием образов знаменитостей в первую очередь затрагиваются личные неимущественные права человека, закрепленные в Гражданском кодексе РФ:

  • Право на охрану изображения гражданина (ст. 152.1 ГК РФ). Согласно этой статье, обнародование и дальнейшее использование изображения гражданина допускается только с его согласия, за исключением случаев, специально оговоренных в законе. Нарушение этого права может повлечь за собой компенсацию морального вреда и применение иных способов защиты гражданских прав, предусмотренных статьей 12 ГК РФ.
  • Право на защиту чести, достоинства и деловой репутации (ст. 152 ГК РФ). Если дипфейк содержит информацию, порочащую честь, достоинство или деловую репутацию знаменитости, то создатель и распространитель такого контента может быть привлечен к ответственности. Пострадавший вправе требовать опровержения порочащих сведений, удаления соответствующей информации, а также компенсации морального вреда.

Нарушение авториских и смежных прав

При создании дипфейка часто используются оригинальные фото и видеоматериалы, которые могут быть объектами авторского права. Также важно учитывать, что внешность знаменитости может быть элементом ее коммерческого образа, который защищается законом.

  • Нарушение авторских прав на исходные материалы (ст. 1270 ГК РФ). Если для создания дипфейка используются охраняемые авторским правом материалы без согласия правообладателя, это может рассматриваться как нарушение исключительного права на произведение;
  • Нарушение смежных прав исполнителя (ст. 1315 ГК РФ). Актеры и другие исполнители имеют исключительное право на свое исполнение, и использование их исполнения для создания дипфейка может нарушать эти права.

Распространение заведомо ложной информации

Дипфейки по своей природе представляют ложную информацию, поскольку демонстрируют события, которые в реальности не происходили. Если такая информация порочит честь или подрывает репутацию знаменитости, ответственность может наступить по следующим статьям:

  • Административная ответственность за распространение заведомо недостоверной информации (ст. 13.15 КоАП РФ). Штрафы для граждан могут достигать до 100 000 рублей;
  • Уголовная ответственность за клевету (ст. 128.1 УК РФ). Если видеопоздравление содержит заведомо ложные сведения, порочащие честь и достоинство другого лица, наказание может включать штраф до 1 миллиона рублей, либо обязательные работы до 240 часов;
  • Уголовная ответственность за распространение заведомо ложной информации, создающей угрозу жизни и безопасности граждан (ст. 207.1 УК РФ). В случае если дипфейк создает угрозу общественной безопасности, наказание может быть в виде штрафа до 700 000 рублей, либо ограничения свободы до 3 лет.

Минимизация рисков при создании видеопоздравлений с помощью нейросети

  • Получить письменное согласие знаменитости на использование их образа;
  • Добавить водяной знак для видеопоздравлений;
  • Не использовать технологию для коммерческих целей;
  • Избегать генерации поздравлений, порочащих честь персоны;
  • Предупредите адресата видеопоздравления о недопустимости распространения дипфейка.

По мере развития технологий следует ожидать появления более конкретных правовых норм, регулирующих создание и распространение дипфейков. В сентябре 2024 года в Госдуму был внесён законопроект об уголовном наказании за использование дипфейков, в частности, в целях клеветы и мошенничества. На 22 мая 2025 года дата рассмотрения законопроекта в первом чтении не назначена.

Иконка обновления