La tecnología de sincronización de labios AI de Ubisoft podría tener aplicaciones más allá del juego
NoticiasEstamos seguros de que no estamos solos cuando decimos que cuando alguien menciona la IA en los juegos, nuestras mentes saltan inmediatamente a los PNJ y enemigos; Sus movimientos, sus reacciones, su, bueno, inteligencia. Todo esto es parte de la IA de un juego..
Pero, como resulta que, la IA es mucho más que eso en los juegos. Después de una conversación con Yves Jacques, el jefe del proyecto de investigación de tecnología La Forge de Ubisoft, obtuvimos una idea mucho mejor de cómo se utiliza la inteligencia artificial para hacer que el desarrollo de juegos sea más rápido y más asequible, así como para mejorar la calidad inmersiva de los juegos que jugamos.
Le pedimos a Jacquier que nos cuente sobre algunos de los prototipos que Ubisoft y La Forge están desarrollando y utilizando en este momento. Uno de los proyectos impulsados por la IA que él estaba particularmente emocionado de discutir fue el Sound Matching. Esto nos dice, ”toma el archivo wav directamente de los actores grabados e impulsa la animación facial” de personajes en el juego.
Mejora de la animación facial.
Sin AI, hay algunas formas de hacer una animación facial, explica Jacquier. Una forma es manualmente, cuyo proceso también puede acelerarse utilizando la captura de movimiento, y otra es dividir el texto en fonemas o distintas unidades de sonido. Usando estos puedes formar diferentes movimientos de labios, grabar a los actores de voz que hablan y luego mapear la voz con el fonema y las diferentes poses de la animación..
Además de sonar totalmente agotador, Jacquier nos dice que un gran problema con el uso de este último método es que, principalmente, solo es útil para el inglés como idioma. “tienes que tener bases de datos enormes para transformar el texto en fonemas y no todos son confiables”. Incluso más que eso, ”no eres capaz de transformar cosas como ladridos y toses, cosas así”.
“Obtenemos una mayor calidad, una mayor sensación de inmersión para el jugador y ha reducido los costos de animación localizados esperados en alrededor del 30%.“
Yves Jacquier
Esta limitación crea algunos problemas al tratar de localizar juegos en otros idiomas además del inglés: “teníamos mucho trabajo que hacer cuando queríamos localizar nuestros juegos porque estamos grabando nuestra línea de base en inglés, luego estamos grabando todos los otros idiomas y luego tenemos que sincronizar los labios para sincronizar cada oración a través de la animación en inglés.”.
No solo hace esto “cree una experiencia de menor calidad, un menor sentido de inmersión si está jugando en otro idioma que no sea el inglés”, También cuesta mucho ya que eres “Pedir a las personas que dediquen mucho tiempo a alinear y sincronizar oraciones extranjeras con la animación en inglés de forma manual”.
Cuando escuchamos sobre la cantidad de trabajo que tiene que ir a algo que parece tan simple como el movimiento de los labios de un avatar, no nos sorprende que Jacquier esté tan entusiasmado con las capacidades de su IA de emparejamiento de sonido..
Menor coste, mayor calidad.
“Funciona con ondas sonoras.,” él dice, lo que significa “Funciona en cualquier idioma y crea la animación de labios directamente.”. Lo que esto resulta es “una mayor calidad, una mayor sensación de inmersión para el jugador y ha reducido los costos de animación localizados esperados en alrededor del 30%”.
Cuando la IA le permite ahorrar tanto tiempo y dinero durante el proceso de desarrollo, esto significa Jacquier., “Podemos poner [esos esfuerzos] en otra parte para mejorar la calidad del juego.”.
Lo que obtenemos, entonces, son movimientos faciales mucho más precisos cuando los personajes del juego están hablando. Todos hemos notado al jugar juegos que hay momentos en que lo que dice un personaje no coincide con sus movimientos de labios. De ninguna manera, no es arruinar el juego, y solo es molesto en la forma en que podría ser una pintura ligeramente descentrada. Pero tiene un impacto en la inmersión que Ubisoft desea evitar.
Ramificación en otros campos
Lo que es realmente interesante es que el trabajo que está haciendo Ubisoft con este prototipo también está siendo utilizado por otros investigadores en otros campos, como la medicina, porque han descubierto que comparten los mismos desafíos..
“yo no lo sabía,” Jacquier sigue, “Pero en medicina están usando avatares para tratar a los pacientes con esquizofrenia o ansiedad.”. Jacquier se apresuró a decirnos que de ninguna manera es un especialista en el área, pero entiende que los avatares similares a los videojuegos están acostumbrados a “ayudar a los pacientes a confrontar sus propias voces en la esquizofrenia o temores de ansiedad”.
Donde los campos de la medicina y los juegos se cruzan aquí, entonces, es en la necesidad de que los avatares tengan una animación facial creíble.. “Si empiezas a no creer en una situación, comienzas a no creer que realmente estás hablando con el avatar como algo real, el tratamiento fracasará.,” Jacquier agrega.
”Si empiezas a no creer en una situación, comienzas a no creer que realmente estás hablando con el avatar como algo real, el tratamiento fracasará.”
Yves Jacquier
Gran parte del tratamiento gira en torno a conversar con un avatar, lo que significa que los pacientes se centrarán en el movimiento de los labios, por lo que los investigadores médicos están buscando que esta parte de la cara en particular sea precisa.
“Cuando hablamos con alguien, mucha de nuestra atención se dirige a la boca, especialmente cuando hay ruido o se está tratando de concentrar.,” dice Jacquier. ”Entonces, si el movimiento de los labios te dice algo diferente de lo que estás escuchando, pierdes a la persona..”
Nos dice que aquellos que trabajan en planes de tratamiento como este han expresado mucho interés en la IA en la que Ubisoft está trabajando., “especialmente Stephane Guay, quien está liderando la investigación en el Instituto de Salud Mental que está tratando de incluir más tecnología para ayudar a los pacientes, no solo la medicina y el tratamiento regular que existe“.
En este momento, Jacquier y su equipo aún están tratando de averiguar cómo colaborarán exactamente, pero existe la esperanza de que cualquier ruta que sigan “Mejorar nuestros juegos, y su trato.”.
- E3 es la exposición más grande del mundo para la industria de los juegos, repleta de los mejores y más recientes juegos, consolas y hardware para juegos. TechRadar informa en vivo desde Los Ángeles toda la semana para traerle lo último de la sala de exposiciones. Diríjase a nuestro centro E3 2018 dedicado para ver todos los nuevos lanzamientos, junto con el análisis de primera clase de TechRadar y los consejos de compra sobre el próximo año en juegos..