AI ha logrado entrometerse en la mayoría de los esfuerzos artísticos, y ahora ha llegado completamente a la industria de la música. Meta ahora ha anunciado el lanzamiento de la versión de código abierto de su modelo de IA de generación de música que utiliza indicaciones simples para generar música como ChatGPT u otro texto de generación de IA basado en un modelo de lenguaje grande.
Felix Kreuk, un ingeniero de investigación de IA en Meta, mostró las capacidades de «MusicGen» en un Hilo de Twitter a finales de la semana pasada. El sistema puede tomar música y modificarla, como hacer una canción pop de los 80 a partir de un estribillo musical clásico.
Tal como lo describe Kreuk, el modelo utiliza un tokenizador de audio EnCodec basado en un modelo de lenguaje transformador. Los usuarios pueden hacer una demostración de MusicGen a través de API de Hugging Face, sin embargo, generar algo de música puede llevar algún tiempo dependiendo de cuántos usuarios la estén usando a la vez. Puede usar el sitio Hugging Face para crear su propia instancia del modelo para obtener resultados mucho más rápidos. De lo contrario, puedes descargar el código y ejecútelo usted mismo si tiene los conocimientos y la plataforma para respaldarlo.
Nuestras propias pruebas incluyeron una «interpretación sinfónica del tema del feliz cumpleaños» repleta de sintetizadores y una «pista de hip hop de baja fidelidad con muestras de la naturaleza, incluidos los grillos». No hay letras incluidas en las canciones por defecto. Gizmodo probó el sistema probando nuestra propia pista de audio opcional con letras de su servidor (si realmente quiere estresar sus oídos con mi voz de canto que rompe cristales, puede encontrar eso en nuestro pruebas anteriores de la función de karaoke de Apple Music). El mensaje «Canción grunge con acompañamiento de bajo pesado y violín» salió más crepitante con la letra añadida que el mismo mensaje sin él.
No está claro cuánto comprende la IA a ciertos compositores. Le pedimos que creara una «partitura de Hans Zimmer para una película medieval steampunk», aunque es difícil decir si la IA realmente podría replicar los temas de Zimmer.
Si bien muchos otros modelos ejecutan la generación de texto, la síntesis de voz, el arte generado e incluso videos cortos, no ha habido muchos ejemplos de calidad de generación de música lanzados al público. Según lo que acompaña documento de investigacion disponible en el repositorio arXiv de preimpresión, uno de los principales desafíos con la música es que requiere ejecutar el espectro de frecuencia completo, lo que requiere un muestreo más intenso. Eso sin mencionar las estructuras complejas y la instrumentación superpuesta que se encuentran en la música.
Meta también comparó su sistema con el modelo de texto a música MusicLM de Google. Meta tiene su página propia mostrando las características de los dos modelos para una comparación directa.
Aunque para los artistas, lo que puede ser más preocupante del modelo son sus datos de entrenamiento. Según el trabajo de investigación, MusicGen fue entrenado en 20 000 horas de música con licencia de un conjunto de datos interno que incluye 10 000 pistas de música. Además, la empresa utilizó alrededor de 390 000 pistas de solo instrumentos que aparecen en Shutterstock y Pond5. Los investigadores de Meta afirmaron que toda la música en la que se entrena su modelo estaba «cubierta por acuerdos legales con los titulares de los derechos». Esto incluye un acuerdo con Shutterstock.
Shutterstock firmó un acuerdo con el creador de DALL-E, OpenAI el año pasado, y ya tiene su propia herramienta de generación de imágenes AI eso está pre-entrenado en las imágenes de todos los colaboradores. Aún así, eso no significa que los artistas estén necesariamente contentos de que su trabajo se use para entrenar la IA. Algunos artistas tienen ya demandó a algunas de las mayores empresas de arte de IA como Stability AI y Midjourney, con acusaciones dirigidas directamente a cómo los conjuntos de datos de IA absorben cantidades masivas de contenido con licencia sin permisos de usuario. Esto se vuelve más complicado cuando las grandes empresas de tecnología como Meta pueden darse el lujo de licenciar contenido creativo para su uso en su generación de IA. Para un usuario, el riesgo de que la IA esté plagiando directamente el trabajo de otros músicos, con o sin licencia, se vislumbra en el fondo.
Como la mayoría de las grandes empresas tecnológicas, Meta ha estado en una patada de IA últimamente Ccomparado con sus grandes hermanos tecnológicos, Meta ha declarado que quiere lanzar más código abierto modelos en el éter para cualquiera para recoger y usar. Es una táctica interesante para que la empresa se destaque de OpenAI, Microsoft y Google, que se han vuelto cada vez más reservados. Aún, no significa que Meta pueda evitar controversia, especialmente en lo que respecta a los creativos, las empresas utilizarán IA para tareas artísticas en lugar de creativos reales de carne y hueso. En su artículo, los investigadores de Meta reconocieron que la IA “puede representar una competencia desleal para los artistas.» Bpero ellos afirmó que el uso de modelos abiertos puede dar aficionados y profesionales de la música nuevas herramientas para hacer música.