el proximo grande La cosa en realidad virtual puede no ser una resolución más alta o un sonido más inmersivo, sino una experiencia aumentada por sensaciones físicas o partes móviles que engañan a tus sentidos para que confundan lo virtual con la realidad. Los investigadores de SIGGRAPH, desde Meta hasta grupos de estudiantes internacionales, hicieron alarde de sus últimos intentos de hacer que la realidad virtual y la realidad aumentada sean más convincentes.
La conferencia sobre gráficos por computadora y dominios asociados se lleva a cabo esta semana en Los Ángeles, y todos, desde Meta hasta Epic, universidades y estudios de cine, estaban demostrando sus productos.
Es el SIGGRAPH número 50, por lo que una cantidad desproporcionada del evento se dedicó a retrospectivas y cosas por el estilo, aunque la sala de exposición estaba llena de lo último en VFX, producción virtual y hardware y software de captura de movimiento.
En la sala de «tecnologías emergentes», o cueva como se sentía la habitación oscura y cubierta de negro, docenas de enfoques experimentales en las fronteras de la realidad virtual parecían describir el estado del arte: visualmente impresionante, pero con una inmersión que dependía casi por completo de eso. ¿Qué se podría hacer para que la ilusión sea más completa? Para muchos, la respuesta no está en el mundo virtual con mejor sonido o gráficos, sino en el físico.
El visor varifocal VR de Meta cambia tu perspectiva, literalmente
Meta tuvo una gran presencia en la sala, con su primera demostración de dos auriculares experimentales, denominados Butterscotch y Flamera. Flamera adopta un enfoque interesante para el video de «transferencia», pero es el enfoque «varifocal» de Butterscotch lo que realmente cambia las cosas en el mundo virtual.
Los cascos de realidad virtual generalmente comprenden un par de pantallas diminutas de alta resolución fijadas a una pila de lentes que parecen llenar el campo de visión del usuario. Esto funciona bastante bien, como puede atestiguar cualquiera que haya probado un auricular reciente. Pero hay una deficiencia en el simple hecho de que acercar las cosas no te permite verlas mejor. Permanecen en la misma resolución y, aunque es posible que puedas distinguir un poco más, no es como levantar un objeto e inspeccionarlo de cerca en la vida real.
Prototipo de auricular Butterscotch de Meta, en piezas.
El prototipo Butterscotch de Meta, que probé e interrogué a los investigadores, replica esa experiencia al rastrear su mirada dentro del auricular, y cuando su mirada cae en algo más cercano, deslizamiento fisico las pantallas más cerca de sus ojos. El resultado es impactante para cualquiera que se haya acostumbrado a la mala aproximación de «mirar de cerca» algo en realidad virtual.
La pantalla solo se mueve en un lapso de unos 14 milímetros, me dijo un investigador en el stand de Meta, y eso es más que suficiente en ese rango no solo para crear una imagen más clara del elemento de cerca, notablemente clara, debo decir. sino para permitir que los ojos cambien de manera más natural su «acomodación» y «convergencia», las formas en que rastrean y se enfocan naturalmente en los objetos.
Si bien el proceso funcionó extremadamente bien para mí, fracasó por completo para un asistente (quien sospecho que era un superior en la división de realidad virtual de Sony, pero su experiencia parecía genuina) que dijo que el enfoque óptico estaba en desacuerdo con su propia discapacidad visual, y activar la función en realidad hizo que todo se viera peor. Es un experimento, después de todo, y otras personas con las que hablé lo encontraron más convincente. Lamentablemente, las pantallas cambiantes pueden ser poco prácticas en un modelo de consumo, por lo que es poco probable que la función llegue a Quest en el corto plazo.
Paquetes Rumble (y Tumble)
En otras partes del piso de demostración, otros están probando métodos físicos mucho más extravagantes para engañar su percepción.
Uno de los investigadores de Sony lleva el concepto de un paquete de ruido al extremo: un controlador montado en una especie de bastón, dentro del cual hay un peso que los motores pueden subir y bajar para cambiar el centro de gravedad o simular movimiento.
De acuerdo con los otros experimentos hápticos que probé, no parece mucho fuera del contexto de la realidad virtual, pero cuando se combina con un estímulo visual es muy convincente. Primero, una serie de demostraciones rápidas me hizo abrir un paraguas virtual; obviamente, no es un juego al que jugarías por mucho tiempo, pero es una excelente manera de mostrar cómo un cambio en el centro de gravedad puede hacer que un objeto ficticio parezca real. El movimiento de la apertura del paraguas se sintió bien, y luego el peso (en su límite más lejano) hizo que se sintiera como si la masa se hubiera movido hasta el final del mango.
A continuación, se fijó un segundo bastón al primero de manera perpendicular, formando una forma similar a la de un arma, y de hecho, la demostración me hizo disparar a los alienígenas con una escopeta y una pistola, cada uno de los cuales tenía una «sensación» distinta debido a cómo programaron el pesos para mover y simular retroceso y recarga. Por último, usé un sable de luz virtual en un monstruo cercano, que proporcionó una respuesta táctil cuando el rayo hizo contacto. El investigador con el que hablé dijo que no hay planes para comercializarlo, pero que la respuesta ha sido muy positiva y que están trabajando en mejoras y nuevas aplicaciones.
Una versión inusual e inteligente de esta idea de cambiar de peso fue SomatoShift, en exhibición en un stand de investigadores de la Universidad de Tokio. Allí me colocaron una pulsera motorizada, en la que dos giroscopios giratorios se oponían entre sí, pero podían cambiar su orientación para producir una fuerza que se opusiera o acelerara el movimiento de la mano.
Créditos de imagen: Devin Coldewey / TechCrunch
El mecanismo es un poco difícil de entender, pero los pesos giratorios como este esencialmente quieren permanecer «verticales», y al cambiar su orientación en relación con la gravedad o el objeto en el que están montados, esa tendencia a enderezarse puede producir vectores de fuerza bastante precisos. . La tecnología se ha utilizado en satélites durante décadas, donde se conocen como «ruedas de reacción», y el principio también funcionó aquí, retardando o ayudando los movimientos de mi mano mientras se movía entre dos botones. Las fuerzas involucradas son pequeñas pero perceptibles, y uno puede imaginar el uso inteligente de los giroscopios creando todo tipo de sutiles pero convincentes empujones y tirones.
El concepto se llevó a un extremo local a unos metros de distancia en el stand de la Universidad de Chicago, donde se equipó a los asistentes con una gran mochila motorizada con un peso motorizado que podía subir y bajar rápidamente. Esto se usó para proporcionar la ilusión de un salto más alto o más bajo, ya que al cambiar el peso en el momento adecuado, uno parece aligerarse o acelerarse hacia arriba, o alternativamente empujarse hacia abajo, si se comete un error en el juego de salto asociado.
Nuestros colegas de Engadget escribieron los detalles de la tecnología antes de su debut la semana pasada.
Si bien el mecanismo voluminoso y el caso de uso limitado lo marcan como los demás como una prueba de concepto, muestra que la percepción del movimiento corporal, no solo de un objeto o un apéndice, puede verse afectada por el uso juicioso de la fuerza.
Teoria de las cuerdas
Cuando se trata de la sensación de sostener cosas, los controladores de realidad virtual actuales también se quedan cortos. Si bien las capacidades de seguimiento de movimiento de los últimos auriculares Quest y PlayStation VR2 son asombrosas, uno nunca se siente realmente interactuando con los objetos en un entorno virtual. El equipo del Instituto de Tecnología de Tokio creó un método ingenioso y divertido para simular la sensación de tocar o sostener un objeto con la punta de los dedos.
El usuario está equipado con cuatro pequeños anillos en cada mano, uno para cada dedo excepto el meñique. Cada anillo está equipado con un pequeño motor en la parte superior, y de cada motor depende un pequeño lazo de hilo, que se coloca alrededor de la yema de cada dedo. Las posiciones de las manos y los dedos se rastrean con un sensor de profundidad conectado (apenas) al auricular.
En una simulación de realidad virtual, una mesa se cubre con una variedad de cubos y otras formas. Cuando el rastreador detecta que su mano virtual se cruza con el borde de un bloque virtual, el motor gira un poco y tira del bucle, ¡lo que se parece mucho a algo que toca las yemas de sus dedos!
Créditos de imagen: Devin Coldewey / TechCrunch
Todo suena muy tonto, y definitivamente lo fue, pero valió la pena experimentar la idea básica y la sensación y la configuración claramente no fue demasiado costosa. Los guantes hápticos que pueden simular resistencia son pocos y distantes entre sí, y bastante complicados de arrancar (de hecho, otro investigador presente trabajó en este dispositivo, una versión más compleja de un principio similar). Se puede hacer una versión refinada de este sistema por menos de $ 100 y brindar una experiencia básica que aún es transformadora.
SIGGRAPH y esta sala en particular estuvieron llenas de estas y más experiencias que cruzaron la línea entre lo físico y lo digital. Si bien la realidad virtual aún tiene que despegar en la corriente principal, muchos han interpretado que eso significa que deben redoblar los esfuerzos para mejorarla y expandirla, en lugar de abandonarla como una plataforma muerta.
La conferencia también mostró una gran cantidad de coincidencias entre los juegos, los efectos visuales, el arte, la producción virtual y muchos otros dominios. Los cerebros detrás de estos experimentos y los productos más establecidos en el piso de la exposición sienten claramente que la industria está convergiendo mientras se diversifica, y que el futuro es una experiencia multimodal, multimedio y multisensorial.
Pero no es inevitable, alguien tiene que lograrlo. Así que se están poniendo manos a la obra.