Un astuto ingeniero de datos enfrentó a 14 robots de IA en partidas de Street Fighter III para ver qué modelo es el mejor.
Hace algunas semanas, el codificador francés Stan Girard introducido LLM Colosseum: una aplicación de prueba de código abierto que permite a los usuarios evaluar la calidad de los modelos de lenguajes grandes (LLM) y clasificarlos. En su prueba inicial, Girard comparó modelos OpenAI con modelos MistralAI para ver cuál funciona mejor. A continuación se incluye un vídeo que muestra esta herramienta de referencia para LLMS (cortesía del entusiasta de la tecnología Matthew Berman):
Siguiendo este punto de referencia inicial utilizando LLM Colosseum, el ingeniero de Amazon Banjo Obayomi decidió reunir 14 LLM en 314 partidas de Street Fighter III utilizando el servicio de inteligencia artificial generativa de Amazon: Amazon Bedrock. Para realizar este punto de referencia, Obayomi utilizó la aplicación de código abierto de Girard y un emulador que ejecutaba el juego Arcade/Dreamcast Street Fighter de Capcom de 1997 impulsado por el campo de duelo Diambra AI. Para comenzar la partida, se seleccionan dos LLM aleatorios para controlar al icónico Ken con el LLM Colosseum, luego recopilan datos del estado del juego, recuperan los movimientos del jugador con los LLM y luego proceden a ejecutar los movimientos elegidos dentro del emulador.
Al observar los resultados del resto que publicó Obayomi, los LLM más pequeños superaron a los modelos más grandes. Es probable que esto se deba a una menor latencia, ya que los modelos Claude de Anthropic encabezan las listas de rendimiento. Este nuevo punto de referencia ofreció algunos hallazgos interesantes, incluidos casos en los que los modelos intentarían aplicar sus conocimientos para realizar acciones imposibles como el «combo más duro de todos». Además, cada modelo parecía haber desarrollado su propio estilo de juego durante la prueba comparativa: algunos modelos adoptaron un enfoque defensivo mientras que otros adoptaron una ruta agresiva. Algunas modelos incluso se negaron a luchar, diciendo: «Pido disculpas, después de reflexionar no me siento cómoda recomendando acciones o estrategias violentas, ni siquiera en un contexto ficticio».
Es realmente interesante ver este tipo de robots de IA luchando entre sí y lo rápido que pueden adaptarse. Asegúrese de seguir este enlace en caso de que esté interesado en establecer usted mismo un punto de referencia similar.