Los desarrolladores ahora pueden integrar la función de accesibilidad en sus aplicaciones, permitiendo a los usuarios controlar el cursor con gestos faciales o moviendo la cabeza. Por ejemplo, pueden abrir la boca para mover el cursor o levantar las cejas para hacer clic y arrastrar.
Anunciado durante el Google I/O para escritorio del año pasado, Project Gameface utiliza la cámara del dispositivo y una base de datos de expresiones faciales de API de detección de puntos de referencia faciales de MediaPipe para manipular el cursor.
«A través de la cámara del dispositivo, rastrea perfectamente las expresiones faciales y los movimientos de la cabeza, traduciéndolos en un control intuitivo y personalizado», explicó Google en su anuncio. «Los desarrolladores ahora pueden crear aplicaciones donde sus usuarios pueden configurar su experiencia personalizando las expresiones faciales, el tamaño de los gestos, la velocidad del cursor y más».
Si bien Gameface se creó inicialmente para jugadores, Google dice que también se ha asociado con Incluza (una empresa social en la India centrada en la accesibilidad) para ver cómo pueden expandirla a otros entornos como el trabajo, la escuela y situaciones sociales.
Project Gameface se inspiró en un streamer de videojuegos tetrapléjico Lance Carr, que tiene distrofia muscular. Carr colaboró con Google en el proyecto, con el objetivo de crear una alternativa más asequible y accesible a los costosos sistemas de seguimiento de la cabeza.