Capacidades creativas y control mejorado para Ingenieros de Audio

Una de las principales ventajas que Google destaca es el control creativo mejorado que esta tecnología proporciona a los ingenieros de audio. Con la capacidad de generar una cantidad ilimitada de bandas sonoras a partir de cualquier entrada de video, los ingenieros pueden utilizar indicaciones positivas y negativas para ajustar la sensación de la música. Las indicaciones positivas guían al modelo hacia resultados sonoros deseados, mientras que las indicaciones negativas lo alejan de sonidos no deseados. Esta flexibilidad permite a los creadores moldear el audio de manera precisa para que coincida con su visión creativa.

Proceso de generación de audio basado en difusión

El funcionamiento de esta tecnología avanzada de DeepMind AI se basa en un enfoque de difusión para la generación de audio, que ha demostrado ser el más realista y convincente para sincronizar información de video y audio. El sistema V2A comienza codificando la entrada de video en una representación comprimida. Luego, el modelo de difusión de Google refina iterativamente el audio a partir de ruido aleatorio, guiado por la entrada visual del video y las indicaciones en lenguaje natural creadas por el ingeniero.

El resultado de este proceso es un audio sincronizado y realista que se alinea estrechamente con las instrucciones de las indicaciones y el contenido del video. Google ha añadido información adicional al proceso de entrenamiento, incluyendo anotaciones generadas por IA con descripciones detalladas del sonido y transcripciones de diálogos hablados. Esto permite que la tecnología aprenda a asociar eventos de audio específicos con varias escenas visuales, respondiendo a la información proporcionada en las anotaciones o transcripciones.

Aplicaciones y Desafíos

La capacidad de DeepMind AI para generar bandas sonoras no se limita solo a videos nuevos. También puede aplicarse a metraje tradicional, películas mudas y más, proporcionando una herramienta poderosa para la restauración y modernización de contenido audiovisual antiguo. Sin embargo, Google señala que el modelo depende en gran medida de metraje de video de alta calidad para crear audio de alta calidad. Las distorsiones en el video pueden resultar en una caída notable en la calidad del audio.

Además, aunque Google está trabajando en tecnología de doblaje para videos con personajes, aún existen desafíos. El modelo puede generar una desincronización que resulte en una sincronización de labios extraña, como un personaje hablando mientras sus labios no se mueven.

Con la capacidad de crear paisajes sonoros ricos y detallados, esta tecnología tiene el potencial de transformar la forma en que experimentamos videos, ofreciendo nuevas posibilidades para la creatividad en la producción de medios.

The post ‘DeepMind’ de Google genera música para videos y bandas sonoras completas first appeared on IndustriaMusical.com.

La interfaz de Music AI Sandbox se asemeja a otras herramientas de música con IA populares en la actualidad. Los músicos pueden proporcionar indicaciones de texto, incluyendo detalles sobre los “sonidos que no quieren”, así como pegar letras y acordes específicos. El resultado generado por el modelo puede extenderse y acompañarse según las preferencias del creador.

Los músicos asociados han expresado su entusiasmo por esta herramienta. Wyclef Jean describió la experiencia como “excavar en una caja infinita”, mientras que Marc Rebillet comparó la herramienta a un “amigo raro” que sugiere ideas creativas. Para Justin Tranter, la posibilidad de expresar su visión musical utilizando el lenguaje que conoce como compositor es especialmente emocionante.

Es importante destacar que Music AI Sandbox no pretende reemplazar a los músicos profesionales. En cambio, se concibe como una herramienta que potencia su creatividad. La industria musical ha estado esperando avances en tecnología de inteligencia artificial, y Music AI Sandbox cumple con esas expectativas. Sin embargo, también plantea preguntas sobre cómo podría afectar a ciertos segmentos de la industria. Por ejemplo, si se abriera a todos los creadores de YouTube como una herramienta para crear sus propias bandas sonoras de videos, podría competir con las plataformas que licencian música comercial para esos creadores.

En cuanto al entrenamiento del modelo detrás de Music AI Sandbox, no se proporciona información detallada en el video promocional ni en el blog oficial. Sin embargo, se sabe que YouTube ha colaborado con Universal Music Group en la iniciativa ‘Music AI Incubator’, lo que sugiere que el enfoque de entrenamiento cuenta con el respaldo de la discográfica. Aunque en enero Billboard informó que Google DeepMind había entrenado su modelo con música con derechos de autor y estaba buscando acuerdos posteriores, sería útil obtener más claridad sobre este aspecto cuando Music AI Sandbox esté disponible para un público más amplio.

Además de Music AI Sandbox, Google tiene otros proyectos de IA en marcha. Por ejemplo, Veo es una IA de texto a video que puede generar videos en resolución 1080p. Actualmente, cineastas y creadores están probando esta herramienta, reafirmando la idea de que estas tecnologías son complementarias a la creatividad humana, no sustitutos.

Para aquellos involucrados en estrategias de SEO relacionadas con artistas, el modelo de IA Gemini de Google aplicado a la búsqueda es un tema de interés. La IA está transformando la forma en que las personas encuentran contenido en línea, y los profesionales deben estar preparados para adaptarse a estos cambios y asegurarse de que su contenido sea fácilmente accesible para el público adecuado.

The post Google DeepMind y YouTube presentan su ‘Music AI Sandbox’ first appeared on IndustriaMusical.com.