Stable Diffusion Video — нейросеть, создающая видео из изображения. Компания Stability AI держит планку и представляет модель, способную сгенерировать качественное видео с частотой кадров от 3 до 30 в секунду. Нейросеть будет совершенствоваться разработчиками, но пока что присутствуют некоторые проблемы и ограничения.
Stable Video Diffusion выпускается в виде двух моделей, способных генерировать 14 и 25 кадров с настраиваемой частотой кадров от 3 до 30 кадров в секунду. Оказалось, что эти нейросети превосходят PikaLabs и GEN-2!
Вы можете попробовать модель на HuggingFace или установить на компьютер из репозитория GitHub. Сейчас очень много желающих сгенерировать видео, поэтому сервис может выдавать ошибку из-за высокой нагрузки.
Вы можете присоединиться к списку ожидания, оставить заявку на сотрудничество и получение доступа к Fine-Tuning на этой странице. Учитывая количество заявок, не стоит ожидать быстрого ответа.
Ограничения Stable Diffusion Video:
- Нейросеть создаёт видео длительностью не более 4 секунд.
- Модель может генерировать видеоролики без движения или с очень медленным перемещением камеры.
- Моделью нельзя управлять с помощью текста.
- Модель не может отображать разборчивый текст.
- Нейросеть пока что плохо справляется с людьми и лицами.