01 Ago Startup de doblaje con IA hace que tus estrellas de cine favoritas sean multilingües

Por Enne Kim

DeepDub dice que puede funcionar un 50 % más rápido que las empresas tradicionales y doblar contenido a varios idiomas simultáneamente (Deposit Photos)

Un campo emergente de tecnología de inteligencia artificial generativa ha elevado el doblaje de voz a un nuevo nivel, uno en el que los íconos de la actuación de habla inglesa pueden parecer pronunciar sus famosas líneas en español, griego o incluso ruso con fluidez.

El doblaje de voz es cuando una nueva voz reemplaza la voz original de un rol, generalmente para traducir el contenido a otro idioma y una startup israelí está liderando el camino, gracias a su plataforma de inteligencia artificial.

Los estudios de doblaje de voz tradicionales pueden tardar hasta meses en producir versiones dobladas del contenido, con un proceso de duplicación complejo que incluye encontrar al actor de doblaje adecuado y grabar la lectura del guion. Los estudios gastan hasta $ 150 mil en el doblaje de una sola película.

La plataforma de aprendizaje profundo de DeepDub puede traducir contenido a 65 idiomas – incluidos dialectos regionales (Cortesía)

Sin embargo, el software de inteligencia artificial de Deepdub puede reducir drásticamente el tiempo y el esfuerzo necesarios para doblar. Mediante el uso de algoritmos de aprendizaje profundo, su software de doblaje de IA se puede entrenar para aprender rápidamente los patrones de una muestra de voz en particular y transmitir el tono y la emoción específicos del actor de voz.

Y si la entrega no es del todo correcta, la IA puede entender mensajes como «Quiero que esta oración sea un poco más risueña». Luego, el software genera una copia en tiempo real del contenido, lo que ahorra miles de dólares y horas de trabajo.

Con sede en Tel Aviv, la empresa fue cofundada en 2019 por los hermanos Ofir y Nir Krakowski. Con experiencia en aprendizaje automático e inteligencia artificial, los dos querían abordar las necesidades emergentes de la transmisión de televisión, la abundancia de contenido que no se trata solo de entretenimiento y la falta de infraestructura para el doblaje de voz.

“Me di cuenta de que hay un mercado aquí donde puedes crear un gran impacto en las personas de todo el mundo”, dice Oz Krakowksi, director de ingresos de Deepdub y hermano de los cofundadores.

“Grandes poblaciones no tienen acceso a contenido audible en este momento, como la televisión y el cine. ¿Y qué pasa con los cursos de e-learning que son solo en inglés? Si no hablan inglés, están limitados en el tipo de acceso a la educación que tenemos porque hablamos inglés. Y ahí es cuando hablamos de democratizar el contenido”.

Deepdub tiene como objetivo capturar los dialectos que hacen que cada región sea única (Cortesía)

Al habilitar el doblaje de voz en diferentes idiomas, las personas que tienen dificultades para leer y escribir o tienen problemas de visión pueden tener acceso a nuevos tipos de contenido de audio. El software de Deepdub es capaz de traducir contenido a 65 idiomas – incluidos los dialectos regionales.

Los dialectos son fundamentales para localizar adecuadamente el contenido o adaptar el discurso para que se ajuste a los matices y sutilezas culturales. El español, el segundo idioma nativo más hablado en el mundo, tiene múltiples dialectos en las diferentes regiones de América Latina. Existe una versión universal del español llamada “español neutro” que solo existe para el doblaje de voz, que elimina ciertas pronunciaciones o palabras específicas.

Sin embargo, Deepdub quiere ampliar los límites de los lenguajes de doblaje «neutrales» y, de hecho, habilitar los dialectos que hacen que cada región sea única.

“Ayudamos a esos países a crear y mantener su propia identidad en términos de, esta es nuestra versión específica del español que nos gustaría mantener y nos gustaría consumir contenido en nuestro dialecto del español”, dijo Oz Krakowksi a NoCamels. Además, países como India (que tiene más de 1900 idiomas y dialectos) podrían tener contenido adaptado a su región específica.

Krakowksi dice que eso es lo que distingue a Deepdub – la capacidad de expandirse a una variedad de idiomas que no sería posible sin su infraestructura de aprendizaje profundo.

Director de ingresos de Deepdub, Oz Krakowksi: Trabajamos de una manera ética que está controlada (Cortesía)

Destacadas empresas de doblaje de voz de IA como Lovo.ai y Synthesys también ofrecen una variedad de emociones e idiomas para las personas que desean doblar su contenido. Sin embargo, el algoritmo Deepdub puede reproducir y localizar al mismo hablante en una variedad de idiomas, lo que, según Krakowksi, les permitió ingresar a la industria de Hollywood antes que otras compañías.

Ética y actores

En medio del furor por la IA en la industria del entretenimiento, Deepdub aborda los desafíos éticos de su uso en el doblaje de voz. Los actores de doblaje pueden encontrarse sin acreditar ni recibir pago, como el actor de doblaje canadiense Bev Standing, quien actualmente está demandando a la plataforma de redes sociales TikTok por supuestamente usar una versión sintética de su voz “sin compensación ni crédito”.

Sin embargo, Deepdub cuenta con la acreditación Trusted Partner Network (TPN), lo que significa que la empresa ha superado estrictas medidas legales y de seguridad para poder trabajar con la Motion Picture Association, la organización que representa a los principales estudios cinematográficos como Disney, Netflix y Universal.

“Trabajamos de una manera ética que está controlada”, dice Krakowksi. Deepdub proporciona la plataforma en lugar de la tecnología para que las muestras de voz permanezcan seguras.

“Esa es parte de la razón por la que los estudios trabajan con nosotros. No le damos a la gente una manera de comenzar a usar la voz de cualquiera y crear esos defectos maliciosos que puedes ver en la web”.

Sin embargo, el crecimiento del doblaje de voz de IA también significa que la industria de la actuación de voz tendrá que adaptarse. En 2018, había más de 500 000 actores de doblaje empleados en los Estados Unidos.

¿Qué significa para los actores de voz cuando la IA generativa puede crear una película doblada en minutos?

Oz Krakowksi cree que la nueva tecnología de inteligencia artificial de Deepdub creará diferentes oportunidades para los actores de voz y el contenido. “Si tuviéramos demasiado miedo de adoptar una nueva tecnología porque podría eliminar puestos de trabajo, todavía estaríamos conduciendo carruajes tirados por caballos”, dice.

Además, Deepdub aún trabaja con los actores de doblaje para garantizar que los doblajes generados tengan «calidad de Hollywood».

La directora creativa y de control de calidad de Deepdub, Maya Mitelpunkt-Aldor, hizo la voz de Mirabel en la versión hebrea de Encanto (Captura de pantalla)

De hecho, aproximadamente la mitad del personal de Deepdub está formado por personas que provienen de la industria del doblaje de voz. La directora creativa y de control de calidad de la startup es Maya Mitelpunkt-Aldor, quien en realidad dobló a Mirabel en la versión hebrea de la animación de Disney de 2021 Encanto. El personal, dice Krakowksi, ayuda a representar las preocupaciones éticas de los actores de doblaje en el entorno de «tecnología creativa» que Deepdub ha cultivado.

En diciembre de 2021, Deepdub anunció un acuerdo con el servicio de transmisión Topic, con sede en EE. UU., que presenta contenido en más de 20 idiomas de 40 países. En enero de 2022, la startup cerró su ronda de financiación de la Serie A con más de 20 millones de dólares en financiación, liderada por la firma de capital de riesgo con sede en Nueva York, Insight Partners.

Deepdub continúa expandiendo su plataforma. La startup lanzó recientemente Deepdub GO, que permite a cualquier persona registrarse en línea y acceder a sus servicios de doblaje de voz. Desde YouTubers hasta cineastas independientes, Oz dice que la nueva plataforma permite a los creadores de contenido tomar sus videos y traducirlos de manera asequible a una variedad de voces dobladas.

“Tradicionalmente, doblar una película toma de 6 a 10 semanas. Dependiendo del tipo de película, podríamos ser entre un 30% y un 50% más rápidos y, en algunos casos, también podríamos completar todo el trabajo en 2 a 4 días y en varios idiomas simultáneamente”, dice. Además, puede llevar tan solo unas pocas semanas integrar un nuevo idioma en la plataforma.

Y aunque Krakowksi es reticente a revelar precios, dice que Deepdub GO es más asequible para aquellos creadores que no tienen las grandes billeteras de los estudios de cine.

La compañía también permite que una audiencia de habla inglesa acceda a contenido en un idioma diferente al inglés.

Deepdub se asoció con Hulu en el doblaje del drama en portugués Vanda (Captura de pantalla)

Uno de los mayores proyectos de Deepdub ha sido la creación de una versión doblada al inglés de Vanda, una serie dramática de televisión sobre atracos que originalmente estaba en portugués.

A principios de este año, la compañía se asoció con el gigante estadounidense de transmisión Hulu para lanzar la primera temporada en inglés.

“Se nota que se presta mucha atención a las voces, la sincronización de labios, cómo suena el fondo con las voces. Puedes escuchar las llamas, puedes escuchar la charla en la televisión y a los niños y todo como si estuviera originalmente en inglés”.

Traducción: Consulado General H. de Israel en Guayaquil
Fuente: NoCamels
https://nocamels.com/2023/07/ai-dubbing-startup-makes-your-favorite-movie-stars-multilingual/