Image to Music V2 — нейросеть, которая пишет музыку по фото или картинке. Инструмент является бесплатным и размещен на площадке Hugging Face. Нейросеть генерирует небольшую мелодию, преобразуя картинку в текстовый промпт, который отправляется в одну из моделей для создания музыки. Для разработчиков доступен API.
Особенности Image to Music V2:
- Создание музыки. Генерацией мелодии по текстовому описанию нынче никого не удивить. А создание музыки из картинки является весьма оригинальной задумкой. Идея проста: извлечь с помощью модели описание загруженного изображения, привести к промпту и отправить в одну из моделей для генерации мелодии. Вот эту задачу и решает Image to Music V2. Загрузите картинку или фото, и нейросеть сделает из неё музыку. Полученный результат можно экспортировать в формате .wav.
- Выбор модели. Для создания музыки из фото с помощью нейросети вы можете выбрать одну из пяти моделей: MAGNet, AudioLDM-2, Riffusion, Mustango и MusicGen. Каждой нейросети нужно время на подключение к API, поэтому после выбора модели дождитесь появления фразы «api ready» в окошке справа.
- Редактирование промпта. После создания музыки нейросетью вы также увидите текстовые инструкции, по которым модель сгенерировала мелодию. Вы можете отредактировать его и запустить процесс создания заново.
Image to Music V2 преобразует картинку в музыку бесплатно.