Universal Music Group (UMG) и NVIDIA объявили о сотрудничестве по разработке ответственных решений на основе искусственного интеллекта для обнаружения, создания и взаимодействия с музыкой. Проект будет использовать вычислительную инфраструктуру NVIDIA и обширный каталог UMG, включающий миллионы треков разных жанров и эпох.
Компании планируют совместные исследования и разработки с целью улучшения музыкального опыта для миллиардов слушателей и поддержания процессов человеческого творчества. В числе приоритетов — обеспечение справедливой компенсации правообладателям.
Стороны намерены применять ИИ для расширения возможностей обнаружения, вовлечения и потребления музыки за пределами традиционных механизмов поиска и персонализации. Также в рамках сотрудничества будут разрабатываться подходы к защите произведений артистов и корректному указанию авторства в музыкальном контенте.
Одно из ключевых направлений — развитие модели NVIDIA Music Flamingo. Эта модель, основанная на архитектуре Audio Flamingo, предназначена для анализа полных музыкальных треков длительностью до 15 минут и учитывает гармонию, структуру, тембр, тексты и культурный контекст.
Модель использует пошаговое рассуждение для более тонкой интерпретации музыкальных элементов — от аккордовых прогрессий до эмоциональных переходов. По заявлению компаний, NVIDIA Music Flamingo показывает лучшие результаты по ряду контрольных задач, включая создание описаний треков, распознавание инструментов и мультиязычную транскрипцию текстов.
Технологии также нацелены на расширение взаимодействия между артистами и аудиторией через интерактивные форматы, выходящие за рамки обычных плейлистов и поисковых сценариев. Для музыкантов это означает новые инструменты для анализа и представления музыки, а для слушателей — более персонализированные рекомендации, учитывающие эмоциональные и культурные характеристики произведений.
Чтобы гарантировать практическую ценность инструментов на базе ИИ для творческих процессов, компании создают инкубатор для артистов. В инкубаторе музыканты, авторы и продюсеры будут совместно разрабатывать и тестировать решения, интегрируемые в реальные рабочие процессы, с акцентом на сохранение оригинальности и аутентичности музыки.
UMG уже использовала инфраструктуру NVIDIA при обучении моделей в своей лаборатории Music & Advanced Machine Learning Lab (MAML). В рамках нового сотрудничества будут созданы творческие лаборатории с участием артистов, авторов, лейблов и издательств, а также задействованы студийные ресурсы UMG, включая Abbey Road в Лондоне и Capitol Studios в Лос-Анджелесе.
NVIDIA будет собирать подробную обратную связь от артистов и партнёров по мере разработки продуктов, чтобы помочь известным и начинающим исполнителям глубже взаимодействовать с аудиторией и получить новые возможности для обнаружения.
Компании заявляют о стремлении установить новые стандарты инноваций и ответственности в музыкальной индустрии, сочетая технологические возможности и творческий потенциал ради расширения форматов взаимодействия артистов и поклонников.
Комментариев