Pixar tenía un problema. Tenía una gran idea nueva para una película:Elementalbasado en personajes de El buen dinosaurio Peter Sohn, pero en realidad animar los elementos principales de la película resultó ser un problema. Después de todo, una cosa es dibujar un montículo desmoronado de tierra consciente, pero ¿cómo se captura la naturaleza etérea del fuego en la pantalla y cómo un cuerpo corpóreo hecho de agua incluso trabajar? ¿Puedes ver a través de él? ¿Los ojos simplemente flotan?
Si bien algunas de esas preguntas podrían responderse con una buena suspensión de la incredulidad a la antigua, los animadores de Pixar pensaron que el problema del fuego era un verdadero enigma, especialmente considerando que uno de los protagonistas de su película, Ember, en realidad se suponía que estaba hecho de ese material. Tenían herramientas para hacer un efecto de llama de años de animaciones anteriores, pero cuando intentabas convertirlo en un personaje, los resultados eran bastante aterradores, un cruce entre Calcifer de Studio Ghibli y Ghost Rider de Nicolas Cage, pero de alguna manera más duro.
“Nuestras simulaciones de fluidos de fuego son muy naturales y están diseñadas para imitar la realidad”, dice el supervisor de efectos visuales Sanjay Bakshi. Con un personaje como Ember, dice Bakshi, «es realmente importante concentrarse en la interpretación del rostro», pero el estudio tenía problemas para equilibrar el dinamismo del fuego con la forma y la sensibilidad del personaje. Paul Kanyuk, supervisor técnico de multitudes en Pixar, dice que al principio, Ember parecía un fantasma o incluso un demonio. “Puede parecer aterrador si es demasiado realista, como si realmente tuvieras una figura humana hecha de pirotecnia real”, explica.
Incluso si puedes dominar el miedo, dice Sohn, todavía tienes que crear algo que sea reconociblemente ardiente. “El fuego naturalmente está muy ocupado, pero si lo ralentizas, puede convertirse en algo que parece un plasma”, explica. “Fue interesante compararlo con otros personajes antropomorfizados, porque todos son muy fantásticos y puedes hacer cualquier cosa con ellos. Si estás dibujando una emoción, no hay uno a uno, pero todos saben cómo es el fuego”.
Básicamente, explica Sohn, para hacer Ember, cada toma de Elemental necesitaría un pase de efectos, algo que no solo requiere mucho tiempo, sino que también es muy costoso.
Afortunadamente, Kanyuk tuvo una idea. Había estado trabajando en animación de multitudes en Pixar desde 2005, comenzando con Ratatouille, y siempre luchó con formas de hacer que la ropa de grandes grupos de personas se vea bien. Mientras trataba de resolver el problema, se involucró con Siggraph de la Association for Computing Machinery, una organización comunitaria dedicada al avance de los gráficos por computadora. Alrededor de 2016, encontró algunas de las investigaciones del grupo sobre el uso del aprendizaje automático para perfeccionar las simulaciones de tela y ha estado tratando de dominarlo desde entonces.
Elemental le dio la oportunidad de aplicar lo aprendido.
Alrededor de 2019, Kanyuk Encontré un artículo de Siggraph Asia sobre el uso de transferencia de estilo neuronal (NST), el tipo de inteligencia artificial que se usa para hacer que una foto se vea como Van Gogh o Picasso, para mover vóxeles (básicamente píxeles 3D, con volumen) alrededor en animación , todo con el objetivo de darle un cierto aspecto a un personaje. Kanyuk pensó que NST podría ayudar a Pixar a dominar el problema de las llamas, aunque le dijo a Sohn (quien también firmó para dirigir la película) que, como gran parte del aprendizaje automático, solo había un 50 por ciento de posibilidades de que funcionara. “Le dije: ‘Le voy a dar cinco ideas, y tal vez dos de ellas funcionen’. Pero él dijo: ‘Hagámoslos todos’”, dice Kanyuk.
Kanyuk solicitó la ayuda de Disney Research Studios, con quien Pixar había trabajado anteriormente, en historia del juguete 4. El laboratorio, con sede en Zúrich, se especializa en investigar cómo la IA y el aprendizaje automático pueden hacer cosas como hacer que los actores parezcan mayores o más jóvenes, o cómo recrear mejor la calidad de la piel de alguien. “Muchos de nosotros no utilizamos el aprendizaje automático hasta que comenzó a prevalecer recientemente, por lo que hemos aprendido en el trabajo”, dice Kanyuk, “mientras que la investigación que sale del laboratorio de Disney vive y respira estas cosas. ”
Comenzó a reunirse regularmente con el equipo de Research Studios y finalmente resolvieron el problema, reclutando a un artista de Pixar llamado Jonathan Hoffman para dibujar un conjunto de llamas arremolinadas, puntiagudas y casi caricaturescas que el equipo denominó la «flor de lis». El NST podría combinarlos con el fuego blobbier de la simulación original y, bam, obtienes el movimiento y la intensidad del fuego templados con solo un poco del control y el estilo de Pixar.