D-ID lanza una herramienta de traducción de videos con inteligencia artificial que incluye clonación de voz y sincronización de labios – guía en línea

Plataforma de creación de videos con IA HIZO es la última empresa en lanzar una herramienta para traducir vídeos a otros idiomas mediante tecnologías de inteligencia artificial. Sin embargo, en este caso, D-ID también clona la voz del hablante y cambia los movimientos de sus labios para que coincidan con las palabras traducidas como parte del proceso de edición de inteligencia artificial.

La tecnología proviene del trabajo anterior de D-ID, que quizás recuerdes de la tendencia viral de hace unos años en la que los usuarios animaban sus fotos familiares más antiguas y más tarde Esas fotos hablaban por sí solas. Gracias a ese éxito, la startup cerró una ronda de financiación de Serie B de 25 millones de dólares en 2022 con la vista puesta en dar servicio a su creciente número de clientes empresariales en Estados Unidos que utilizaban su tecnología para crear vídeos con tecnología de IA.

Con el lanzamiento de la empresa Traductor de vídeo con IA La tecnología, que actualmente se ofrece de forma gratuita a los suscriptores de D-ID, permite a los creadores traducir automáticamente sus videos a otros idiomas para ayudarlos a ampliar su alcance. En total, hay 30 idiomas disponibles actualmente, incluidos árabe, mandarín, japonés, hindi, español y francés, entre otros. Una suscripción a D-ID comienza en $56 por año para su plan más económico y la menor cantidad de créditos para usar en funciones de inteligencia artificial y luego sube a $1,293 por año antes de cambiar al precio empresarial.

D-ID sugiere que la nueva tecnología de video con inteligencia artificial podría ayudar a los clientes a ahorrar en costos de localización al escalar sus campañas a una audiencia global en áreas como marketing, entretenimiento y redes sociales. La tecnología competirá con otras soluciones tanto para doblaje como para video con inteligencia artificial.

Durante años, las tecnologías de doblaje han facilitado a los espectadores de videos escuchar audio en su propio idioma, pero a menudo eran inaccesibles para los creadores más pequeños. Eso ha ido cambiando a medida que las empresas han mejorado el acceso a la tecnología. Por ejemplo, YouTube lanzó una función de audio en varios idiomas diseñada para ayudar a sus creadores a conectarse con una audiencia más amplia al traducir sus videos a otros idiomas. El conocido creador Mr. Beast (Jimmy Donaldson) fue uno de los primeros en adoptarla, ya que utilizó la tecnología para traducir varios de sus videos populares a 11 idiomas más.

Con la IA, la capacidad de crear, traducir o clonar voces también se está expandiendo. Este año, Microsoft anunció que usaría IA para traducir y doblar videos de YouTube y otros, mientras los miras. En julio, la plataforma de creación Vimeo Descubierto herramientas que no solo traducen audio y subtítulos, sino que también lo hacen replicando la voz del hablante con tecnologías de IA. Numerosas empresas también ofrecen herramientas de clonación de voz o traducción de IA (o, a veces, ambas), incluidas las de Descript, ElevenLabs, Speechify, Veed, Camb.ai, Captions.ai y Akool, por nombrar algunas, así como herramientas que le permiten crear videos utilizando avatares de IA que pueden hablar docenas de idiomas, como los de Hola generación, Inteligencia artificial de Deepbrain y otros.

Las bibliotecas de inteligencia artificial para doblaje y sincronización de labios, como wav2lip, también han facilitado que las empresas emergentes creen este tipo de herramientas y al mismo tiempo promueven ante los creadores la idea de que hacen más fácil, y quizás más asequible, el uso de la tecnología de inteligencia artificial.

D-ID afirma que su nueva tecnología de traducción de vídeo estará disponible a través de D-ID Studio y su API. Se ofrece una prueba de un mes y más población están en su sitio web.

Aureliano Teodoro es un reportero de tecnología que se centra en temas de vigilancia, privacidad y poder corporativo. Anteriormente fue redactor senior en Gawker y su trabajo también apareció en GQ, Vice y la revista New York Times, El País, entre otros medios.

Leave a Comment