Meta Reality Labs está logrando grandes avances en la representación de avatares con los últimos avances que combinan el aprendizaje automático (ML) con datos de sensores de los auriculares Quest VR para mostrar su cuerpo completo, incluidos brazos, piernas, torso y cabeza. El resultado es una representación muy realista y precisa de las poses y movimientos de una persona que lleva un auricular Quest 2.
Esto es bastante sorprendente, ya que solo se usaron las posiciones y orientaciones de los auriculares Quest VR y sus dos controladores para estimar el movimiento y la posición de las piernas. No se colocan bandas de seguimiento en las piernas ni se utilizan cámaras externas para este extraordinario sistema. Científico de investigación meta alexander winkler compartió varios videos en Twitter junto con enlaces al artículo científico sobre arXiv y un video de YouTube con más detalles.
En un sentido científico, esto se conoce como seguimiento de movimiento de sensores dispersos y ML es particularmente hábil para extraer información significativa de muy poco, si hay suficientes dependencias entre lo que se conoce y lo que se desconoce. Dado que balanceamos los brazos para mantener el equilibrio cuando caminamos y corremos, el movimiento de los brazos es un buen indicador de lo que suelen hacer las piernas. Combinado con la inclinación y la dirección de la cabeza, el sistema ML puede predecir la mayoría de los movimientos humanos con mucha precisión.
Los enfoques más tradicionales para el seguimiento de las extremidades se basan en hardware adicional, como marcadores reflectantes colocados en las piernas y el torso que son identificados por cámaras externas, o bandas con balizas inalámbricas que se usan en varios lugares de las piernas para transmitir datos de posición y movimiento.
Si bien estos métodos funcionan, generalmente se venden como accesorios que cuestan más y no son compatibles con la mayoría de las aplicaciones y juegos. Si Meta puede lograr tan buenos resultados con un auricular Quest 2, será más probable que los desarrolladores construyan el seguimiento del cuerpo en sus juegos y aplicaciones.
A pesar de estos importantes avances, Meta Reality Labs admite que aún queda trabajo por hacer. Si te mueves lo suficientemente rápido, el modelo ML no puede identificar correctamente tu pose. Las posturas inusuales son difíciles de estimar para la computadora y si el entorno virtual tiene obstáculos que no existen en la realidad, el movimiento no coincidirá. Sin embargo, el efecto general parece ser muy bueno y sería una buena mejora poder ver un cuerpo completo en lugar de torsos flotantes al chatear con amigos en VR.
Con suerte, esta tecnología estará lista para su lanzamiento pronto. Dado que se espera el anuncio de los auriculares Quest Pro de Meta en unas pocas semanas, el momento para los avatares de cuerpo completo parece perfecto. El Meta Quest Pro puede rastrear el movimiento de los ojos y las expresiones faciales, lo que brinda una mejor sensación de presencia a sus amigos, familiares y compañeros de trabajo que podría mejorar en gran medida en el futuro cercano.
Recomendaciones de los editores