Google добавила Lyria 3, модель генерации музыки от DeepMind, в Gemini, позволяя пользователям создавать короткие треки по изображениям и видео.

Возможности модели

Lyria 3 создаёт короткие музыкальные фрагменты длительностью до 30 секунд, сочетая мелодию, гармонию и ритм на основе визуального ввода или текстовых подсказок.

Модель поддерживает индивидуальные тексты песен и широкий набор жанров, от джинглов до эмбиент-композиций, для различных творческих задач.

• Ввод изображения: загрузите фото и при необходимости добавьте параметры стиля, чтобы задать темп, инструментацию, настроение и лирические темы.
• Ввод видео: короткие клипы задают ритмические рисунки и аранжировку, позволяя создавать музыку, соответствующую движению и динамике сцены.
• Только текст: пользователи могут запросить трек по текстовой подсказке; система может сгенерировать как музыкальную структуру, так и сопроводительные слова.

Доступ и отслеживание контента

Функция в настоящее время доступна в бета-версии пользователям в возрасте 18+ через приложение Gemini на поддерживаемых платформах.

Каждый сгенерированный трек содержит скрытый водяной знак, предназначенный для автоматической идентификации аудио, созданного ИИ, при последующем анализе.

Google утверждает, что водяной знак помогает установить авторство контента, не раскрывая данные пользователей и не меняя качество звука в сгенерированном материале.

Сценарии использования и рекомендации

Интеграция расширяет мультимодальные возможности Gemini, позволяя создателям превращать изображения и видео в короткие музыкальные фрагменты для проектов и прототипов.

Подробности о лицензировании, разрешённом использовании и политике в отношении контента для сгенерированного аудио доступны в условиях использования и документации Gemini.