La IA DeepMind de Google ya crea una banda sonora observando un vídeo
DeepMind de Google sigue mejorando día a día. Ahora es capaz de crear bandas sonoras con música, efectos de sonido e incluso diálogos, a partir de un vídeo.
ChatGPT y compañía comenzaron generando texto. Más tarde, imágenes. Y por último vídeo. Hasta ahora, vídeo mudo, sin sonido, a partir de un texto.
Existen IA especializadas que crean efectos de sonido para los vídeos, como la de ElevenLabs. Pero ahora DeepMind da un paso de gigante al ser capaz de crear una banda sonora a partir de un vídeo, que contiene música, efectos de sonido, e incluso diálogos, si hay personajes.
Una banda sonora creada por la IA
Google ha estado mejorando la tecnología Video-a-audio (V2A) de DeepMind, para crear bandas sonoras completas.
DeepMind solo necesita un vídeo, para apañarse por su cuenta: según lo que «ve» en el vídeo, crea la música, los efectos de sonido, y los diálogos. Pero es posible añadir prompts de texto para obtener algo más específico.
Por ejemplo, esta es la banda sonora que DeepMind crea cuando escribimos el prompt: «coches derrapando, motor de coche acelerando, música electrónica angelical»:
Como vemos, DeepMind no solo ha creado una banda sonora que se ajusta a ese prompt, sino que demás se encarga de sincronizar los efectos de sonido, como el coche derrapando, en el lugar correcto. El usuario no tiene que hacer absolutamente nada.
El resultado es sorprendentemente bueno. Suena bastante bien y no desentona con el vídeo. Casi puede pasar por una banda sonora convencional.
Según explica Google en su blog, la ventaja de DeepMind es que puede generar infinitas bandas sonoras de un mismo vídeo, para que el usuario elija.
De momento, esta importante mejora en la tecnología V2A de DeepMind, no está disponible para el gran público. Google asegura que primero quiere asegurarse de que sea completamente segura.
También confiesa que aún hay que perfeccionarla. Si el vídeo es de baja calidad, no reconoce bien lo que hay en pantalla. Además comete fallos sincronizando los diálogos con los personajes.
El día en que una inteligencia artificial generativa sea capaz de crear una película completa por su cuenta, está un poco más cerca. La base ya la tiene…
FUENTE: COMPUTER HOY
