Si la IA va a salir del cuadro de chat y llegar a nuestras salas de estar, deberá comprender mejor los espacios y los objetos. Para promover ese trabajo, el Instituto Allen para la IA ha creado una base de datos gigantesca y diversa de modelos 3D de objetos cotidianos, por lo que las simulaciones de los modelos de IA pueden estar mucho más cerca de la realidad.
Los simuladores son básicamente entornos 3D destinados a representar lugares reales que un robot o una IA podrían tener que navegar o comprender. Pero a diferencia de, digamos, un juego de consola moderno, los simuladores de entrenamiento están lejos de ser fotorrealistas y, a menudo, carecen de detalles, variaciones o interactividad.
Objaverse, como se llama torpemente pero de alguna manera agradable, tiene como objetivo mejorar esto con su colección de más de 800,000 (y creciendo) modelos 3D con todo tipo de metadatos. Las cosas representadas van desde tipos de alimentos hasta mesas y sillas, electrodomésticos y aparatos. Aquí se representa cualquier objeto relativamente ordinario que esperaría ver en una casa, oficina o restaurante.
Está destinado a reemplazar las bibliotecas de objetos antiguos como ShapeNet, una antigua base de datos en espera con alrededor de 50,000 modelos menos detallados. Si la única «lámpara» que ha visto su IA es una genérica sin patrón ni color, ¿cómo puede esperar que reconozca una de cristal tallado o una con una forma totalmente diferente? Objaverse incluye variaciones de objetos comunes para que el modelo pueda aprender qué los define a pesar de sus diferencias.
Claro, probablemente no será necesario que su asistente de IA identifique una estantería como «medieval» o no, pero definitivamente debería saber la diferencia entre un plátano pelado y sin pelar. Pero nunca se sabe lo que puede importar.
Créditos de imagen: AI2
El uso de imágenes fotorrealistas (capturadas mediante fotogrametría, está claro) también brinda un nivel de diversidad y realismo que es obvio en retrospectiva. Claro, todas las camas se ven más o menos iguales, pero ¿qué pasa con las camas sin hacer? ¡Todo diferente!
Tener objetos que también se animan para hacer su «cosa principal» también es útil. Saber cómo se ve un refrigerador, gabinete, libro, computadora portátil o puerta de garaje cerrada es una cosa y abierta es otra, pero ¿cómo se llega de A a B? Suena simplista, pero si a los modelos de IA no se les proporciona esta información, es poco probable que la inventen o la intuyan.
Puede leer más sobre las características y los detalles de este enorme conjunto de datos en el artículo de AI2 que lo describe. Si eres investigador, puedes comenzar a usarlo ahora gratis a través de Hugging Face.