Los «Deep Fakes» llegan a la industria de la música

La inteligencia artificial se está utilizando para crear nuevas canciones aparentemente interpretadas por Frank Sinatra y otras estrellas ya fallecidas. Los «deepfakes» son el nuevo truco en la industria, pero podrían cambiar el pop para siempre.

Las canciones son falsificaciones convincentes creada por la “empresa de investigación y despliegue” OpenAI, cuyo proyecto Jukebox utiliza inteligencia artificial para generar música completa con letras, en una variedad de géneros y estilos de artistas. Junto con Sinatra, han hecho lo que se conoce como «deepfakes» de Katy Perry, Elvis Presley, Simon y Garfunkel, 2Pac, Céline Dion y más.

Habiendo entrenado el modelo usando 1.2 millones de canciones extraídas de la web, con las letras y metadatos correspondientes, esta tecnología puede generar audio sin procesar de varios minutos de duración según lo que sea que lo alimente. Si se ingresa, digamos, Queen o Dolly Parton o Mozart, el sistema arrojará una aproximación a lo que ha escuchado.

«Como pieza de ingeniería, es realmente impresionante«, dice el Dr. Matthew Yee-King, músico electrónico, investigador y académico de Goldsmiths a The Guardian. “Dividen una señal de audio en un conjunto de lexemas de música, un diccionario si lo desea, en tres capas de tiempo diferentes, lo que le brinda un conjunto de fragmentos centrales que es suficiente para reconstruir la música que se introdujo. El algoritmo puede reorganizar estos fragmentos, en función del estímulo introducido. Entonces, dale un poco de Ella Fitzgerald, por ejemplo, y encontrará y reunirá las partes relevantes del ‘diccionario’ para crear algo en su espacio musical «.

Por admirable que sea el logro técnico, hay algo perturbador en algunas de las muestras, en particular las de artistas que han muerto hace mucho tiempo.

Se prevé que la música deepfake tenga ramificaciones de amplio alcance para la industria de la música a medida que más empresas se unan a la tendencia. El Proyecto Magenta de Google, que se anuncia como «explorar el aprendizaje automático como una herramienta en el proceso creativo», ha desarrollado varias API de código abierto que permiten la composición utilizando sonidos completamente nuevos generados por máquinas o co-creaciones de inteligencia artificial humana. Numerosas empresas emergentes, como Amper Music, producen música personalizada generada por IA para contenido multimedia, con derechos de autor globales. Incluso Spotify está incursionando: su grupo de investigación de IA está dirigido por François Pachet, ex director del laboratorio de informática de Sony Music.

Sin embargo, no es difícil prever cómo estas falsificaciones podrían generar problemas éticos y de propiedad intelectual. Si un tercero no desea pagar la tarifa del mercado por usar la música de un artista establecido en una película, programa de televisión o comercial, puede crear su propia imitación. Mientras tanto, los servicios de streaming podrían completar listas de reproducción de género con artistas de IA de sonido similar, a quienes no necesita pagar royalties, lo que aumenta sus ganancias. En última instancia, los servicios de streaming, las estaciones de radio y otros evitarán cada vez más pagar a los artistas por música.

Los departamentos legales de la industria de la música están siguiendo de cerca los desarrollos. A principios de este año, Roc Nation presentó solicitudes de eliminación de DMCA contra un usuario anónimo de YouTube por usar inteligencia artificial para imitar la voz y la cadencia de Jay-Z al rapear Shakespeare y Billy Joel. «Este contenido utiliza ilegalmente una IA para hacerse pasar por la voz de nuestro cliente«, dice el documento. Y si bien los videos finalmente se restablecieron «en espera de más información del demandante», el caso continúa.

Algunos, sin embargo, están entusiasmados con las posibilidades creativas. «Si tienes un modelo estadístico de millones de canciones, puedes preguntarle al algoritmo: ¿qué no has visto?» dice Yee-King. «Puede encontrar ese espacio en blanco y luego crear algo nuevo«. Mat Dryhurst, un artista y podcaster que ha pasado años investigando y trabajando con IA y tecnología asociada, dice: “La analogía más cercana que vemos es el muestreo. Estos modelos permiten una nueva dimensión de eso y representan la diferencia entre muestrear una grabación fija de la voz de Bowie y hacer que Bowie cante lo que quieras, un poder y una responsabilidad extraordinarios«.

Los deepfakes también plantean preguntas más profundas: ¿qué hace que un artista en particular sea especial? ¿Por qué respondemos a ciertos estilos o tipos de música, y qué sucede cuando eso se puede crear bajo demanda? Yee-King imagina máquinas capaces de generar la pieza musical perfecta para ti en cualquier momento, en función de la configuración que selecciones, algo que ya está siendo pionero en la startup Endel, así como estrellas del pop que utilizan un modelo de escucha de IA para predecir qué canciones serán populares o a lo que responden los diferentes grupos demográficos. «Simplemente alimentando a la gente con un flujo de sonido optimizado», dice, «eliminando a los artistas por completo«.

Pero si perdemos todo sentido de inversión emocional en lo que hacen los artistas, y en el lado humano de la creación, perderemos algo fundamental para la música. “Estos sistemas están entrenados en la expresión humana y la aumentarán”, dice Dryhurst. «Pero la pieza que falta del rompecabezas es encontrar formas de compensar a las personas, no de reemplazarlas«.