Crédito de la imagen: Dirac Research.

El sonido envolvente es historia. Puede que se haya considerado de vanguardia hace una década, pero con la mayoría de la música y el video que ahora se ven en los teléfonos móviles, la lucha por el audio ... se mueve.

Construida alrededor de una esfera de 360 ​​grados, la tecnología de audio inmersiva o espacial está siendo diseñada por gente como Dirac Research, DTS, Dolby y THX principalmente para auriculares de realidad virtual (VR), pero ¿quién puede ignorar los 2.500 millones de teléfonos inteligentes del mundo? La carrera está lista para producir el formato definitivo para audio 3D..

¿Qué es el audio inmersivo??

Diseñado principalmente para VR, pero también para dispositivos móviles, el audio inmersivo tiene tres partes.

El primero es canales; los cines en casa utilizan un sistema 5.1 para manejar la parte delantera, izquierda, derecha, izquierda, trasera derecha y un subwoofer, y el audio envolvente se basa inicialmente en ese mismo marco. La única diferencia es que ahora puede imitar una matriz de 11.1 o superior.

El sonido Fraunhofer para la reproducción de canales inmersivos | Crédito: Fraunhofer IIS

La segunda parte del audio inmersivo es ambisonics..

“Las señales ambisonic son elementos de audio basados ​​en escenas que describen no fuentes individuales (como formatos basados ​​en objetos o en canales), sino más bien el campo de sonido en su totalidad desde un punto en el espacio,” dice Julien Robilliard, gerente de producto de Fraunhofer IIS, que inventó los códecs de mp3 y AAC.

El sonido envolvente se puede producir mediante la función de transferencia relacionada con la cabeza (HRTF), donde los micrófonos estéreo binaurales se colocan en los oídos de un muñeco y se graban sonidos externos para crear un perfil de "impresión de la cabeza" (en el futuro, todos podríamos obtener Sonido personalizado a la forma de nuestra cabeza y rostro..

Sin embargo, el sonido binaural es simplemente estéreo inteligente, y mejor para auriculares. Para las grabaciones de audio "ambisonic" verdaderas de 360 ​​grados adecuadas para altavoces, los micrófonos capturan audio desde cuatro posiciones diferentes.

La tercera parte del audio inmersivo son los objetos de audio..

Un objeto de audio es una pista mono acompañada de metadatos que especifica la posición exacta de ese sonido.. “Con VR desea tener los sonidos que lo sumergen en la escena que se puede reproducir desde cualquier dirección,” dice Robilliard.

¿Por qué es importante el audio inmersivo??

“El sonido en cualquier experiencia de contenido inmersivo desempeña un papel igualmente importante, y a menudo se pasa por alto, como efectos visuales en el transporte del espectador a la acción ", dice Canaan Rubin, Director de Producción y Contenido de la compañía de producción VR y AR Jaunt.

Utiliza micrófonos ambisonic montados en el conjunto circundante para capturar el sonido de forma auténtica en la ronda. "En la reproducción de nuestro contenido 360, las tecnologías de audio como Dolby Atmos para VR, DTS Headphone: X, y la nueva versión recientemente lanzada de Dirac VR, ofrecen formatos de audio exclusivos mejorados por HRTF (funciones de transferencia relacionadas con la cabeza) para proporcionar una Experiencia de sonido 3D ", dice Rubin..

¿Por qué es tan importante la HRTF??

"Sin él, el audio basado en auriculares no puede representar con precisión las fuentes de sonido que se originan en la parte superior, inferior, frontal o posterior del sujeto, dejando su experiencia limitada al plano izquierdo-derecho", dice Rubin. "Esto puede ocurrir debido a la proximidad de los altavoces de los auriculares a su tímpano, lo que niega los efectos físicos y psicológicos de la audición del sonido en una habitación".

HRTF es fundamental en la producción de audio inmersivo | Crédito: Dirac Research

Sin embargo, hay varias tecnologías de procesamiento y procesamiento diferentes para llevar audio inmersivo a los dispositivos, y cada uno tiene sus propias fortalezas..

Dirac VR explicó

Aunque la mayoría de nosotros estamos familiarizados con Dolby, DTS y THX, la compañía de sonido sueca Dirac Research es una compañía relativamente pequeña pero de rápido crecimiento..

Recién de poner su tecnología en el altavoz inteligente Mi AI de Xiaomi a principios de 2018, Dirac utilizó el reciente MWC para brindar a TechRadar una demostración de la segunda generación de su tecnología Dirac VR para auriculares..

Cuenta con sonido proveniente de todas las direcciones en una esfera, pero su característica clave es que se mueve a medida que mueves la cabeza. Eso es crucial porque si usa un auricular VR, necesita que el sonido permanezca en el mismo lugar, lo que significa que todo en una mezcla cambia de posición en tiempo real..

Este es un posicionamiento dinámico, que crea una esfera de audio de 360 ​​grados donde el sonido se mueve libremente en todas las direcciones. Es increíblemente impresionante.

Puede usarse, por ejemplo, para crear una etapa de sonido donde la banda que está escuchando parece estar frente a usted. Pero cuando gira la cabeza hacia el lado derecho, la oreja izquierda se vuelve más fuerte. Si inclinas la cabeza hacia arriba, el sonido se mueve hacia abajo en la mezcla. También se puede utilizar para imitar la experiencia de estar en un cine..

La segunda generación de Dirac VR ofrece posicionamiento dinámico | Crédito: Dirac Research

“Al fijar las fuentes de sonido en el plano horizontal, los entornos virtuales como las salas de cine pueden recrearse con una precisión milimétrica, ya que tanto el usuario final como las fuentes de audio permanecen en ubicaciones estáticas,” dice Lars Isaksson, Director General de Dirac Research y Director de Negocios de AR / VR.

Isaksson continúa: “Nuestra Dirac VR de segunda generación, sin embargo, coloca a cada usuario en el centro de una "esfera de audio", lo que permite a los usuarios experimentar, por ejemplo, el sonido del viento azotando la cabeza o un avión que llega y sale en un avión. pista.”

Sin embargo, lo más importante es que Dirac VR tiene una pequeña capacidad de memoria y CPU, por lo que funciona bien en dispositivos pequeños como los teléfonos..

"Si bien la tecnología de Dirac es menos conocida, promete un rendimiento de CPU altamente eficiente teniendo en cuenta el procesamiento de HRTF y el motor de reverberación que contiene", dice Rubin..

Sonido para gamers.

Lanzado en MWC 2018, DTS Headphone: X 2.0 virtualiza el sonido estéreo y lo transforma en un sonido envolvente.

Está diseñado pensando en los jugadores. La nueva versión incluye señales de proximidad y soporte para audio basado en canales, escenas y objetos..

DTS también tiene DTS: X Ultra, que agrega soporte para ambisonics y objetos de audio, y se puede escuchar críticamente a través de altavoces, así como a través de auriculares; Está dirigido a juegos VR y AR..

"Lo que es exclusivo de DTS Headphone: X 2.0 es la forma en que escribimos los algoritmos, personalizamos el HRTF y usamos nuestra amplia biblioteca de curvas de sintonía de más de 400 pares de auriculares.,” dice Rachel Cruz, directora de marketing de productos para dispositivos móviles y VR / AR de Xperi, propietaria de la marca DTS. “Brindan una ventaja competitiva porque a veces es la señal de audio que le dice a sus ojos dónde mirar y, a menudo, los obtiene antes de una señal visual..”

También es un escenario de sonido altamente personalizado. "DTS: X permite que el sonido de los objetos individuales se incremente manualmente si tiene dificultades para escuchar un objeto determinado, como el diálogo, en relación con el resto de la etapa de sonido", dice Rubin.

Dolby Atmos para VR, MPEG-H y Cingo

Aunque recibe mucha prensa, Dolby Atmos es técnicamente difícil de definir porque Dolby no hace públicas las tecnologías en su interior..

Aunque está más orientado hacia el sonido envolvente tradicional y el sonido de cine, Dolby Atmos para VR también se ocupa del sonido espacial. "Atmos ofrece auralización y espacialización de hasta 128 objetos simultáneamente", explica Rubin..

Plantronics hace que los auriculares sean compatibles con Dolby Atmos | Crédito: Plantronics

El Fraunhofer IIS de Alemania, conocido por el mp3, ahora tiene un contenedor para el manejo de audio inmersivo; Audio MPEG-H. Aunque la 'H' no significa nada en particular, piensa que significa altura.

“Este códec admite la entrega de canales, objetos de audio y ambisonics a televisores, barras de sonido, así como dispositivos móviles y de realidad virtual.,” dice Julien Robilliard, gerente de producto de Fraunhofer IIS.

MPEG-H se ha utilizado en Corea del Sur como parte de las transmisiones terrestres en 4K desde mayo de 2017, y los televisores de Samsung en venta allí pueden descodificarlo. THX y Qualcomm acaba de demostrar su plataforma de audio espacial THX utilizando MPEG-H.

Cingo, una tecnología de posprocesamiento, ofrece una reproducción auténtica y realista de la escena de sonido 3D a través de auriculares | Crédito: Fraunhofer IIS

Entonces, ¿qué sucede cuando un flujo de bits MPEG-H llega en un par de auriculares?? “Ahí es donde entra Cingo.,” dice Robilliard. “Es un procesador binaural que engaña al cerebro para que piense que los sonidos se emiten desde fuera de los auriculares..“

Sin embargo, si bien Cingo admite la reproducción de contenido de audio 3D completamente envolvente con formatos que agregan una dimensión de altura, es el MPEG-H el que tiene el mayor futuro.. “MPEG-H es nuestro negocio principal, y es el códec que permite que todas estas tecnologías (Dirac, Atmos, Cingo y DTS) existan.,” dice Robilliard.

MPEG-H es actualmente el único códec especificado por las directrices del Foro de la industria de la realidad virtual, pero no es solo para la realidad virtual; Puede llevar un mono, estéreo, binaural, 5.1, 11.1, hasta una señal de audio inmersiva dinámica a cualquier dispositivo compatible.

Si bien es probable que no se generalicen hasta que los auriculares de realidad virtual comiencen a venderse en grandes cantidades, los formatos de audio inmersivos son solo la mitad de la historia, con MPEG-H destinado a desempeñar un papel fundamental. Dice Robilliard: “Si no recibe las señales en su hogar, no tiene sentido hacer realidad la magia.”

Este artículo se ha actualizado, después de algunas aclaraciones de Fraunhofer IIS.

  • VR de próxima generación: son nuestras manos en la revisión de HTC Vive Pro