Estos investigadores han creado el “DALL-E” del audio: así es AudioGen
La IA nos vuelve a sorprender
AudioGen es un programa de inteligencia artificial que genera sonidos a partir de descripciones textuales. Según explican los investigadores de Meta y de la Universidad Hebrea de Jerusalén, que son los responsables del proyecto, se utiliza un modelo generativo autorregresivo para interpretar los pedidos en lenguaje natural y generar desde cero muestras de audio.
We present “AudioGen: Textually Guided Audio Generation”!
AudioGen is an autoregressive transformer LM that synthesizes general audio conditioned on text (Text-to-Audio).
? Paper: https://t.co/XKctRaShN1
? Samples: https://t.co/e7vWmOUfva
? Code & models – soon!(1/n) pic.twitter.com/UiJaA627bv
— Felix Kreuk (@FelixKreuk) September 30, 2022
Veamos algunos ejemplos de AudioGen en acción. Como podemos escuchar en el Tweet compartido por el investigador Felix Kreuk, el programa de inteligencia artificial ha sido capaz de generar sonidos relacionados a “alguien silbando mientras el viento sopla”, “un hombre habla mientras los pájaros cantan y los perros ladran”, “sirenas y un motor zumbando se acercan y pasan”, entre otros pedidos realizados en lenguaje natural.
De acuerdo a los investigadores, este modelo de IA supera inconvenientes de audio complejos. Por ejemplo, puede distinguir entre diferentes tipos de sonidos y separarlos acústicamente. Por ejemplo, puede filtrar a dos personas que hablan al mismo tiempo. Y se trata de una característica elemental para poder generar una amplia variedad de muestras de audio precisas.
No sabemos específicamente el conjunto de datos se ha utilizado, pero los miembros el proyecto dicen que entrenaron el modelo “utilizando diez conjuntos de datos de audio y etiquetas coincidentes”. Recordemos que muchos modelos de IA son entrenados con conjuntos o subconjuntos de datos que contienen creaciones con derechos de autor, lo que está generando debates en relación al copyright.
Cabe señalar que el proyecto todavía está siendo desarrollado a puertas cerradas. No obstante, los investigadores pretenden ponerlo a disposición del público. Así, próximamente publicarán el código de AudioGen y demás detalles técnicos en su perfil de GitHub. Además, explican, seguirán trabajando para mejorar las capacidades del programa. Toca esperar para saber si estará al alcance de todos como los generadores de imágenes.
Fuente…..Xataka
