Jorge Jiménez, el hombre que ha hecho más humanos a los personajes de videojuegos

Por si alguien tenía alguna reserva sobre la tecnología actual, The Callisto Protocol dio el pasado mes de diciembre el carpetazo definitivo al uncanny valley, el efecto del valle inquietante que consiste en que cuanto más se parece una persona sintética a una real más rechazo causa entre los humanos porque perciben que están ante una recreación artificial. Parte de ese logro tiene su origen en Zaragoza, donde se encuentra Striking Distance Spain, una de las dos sedes del estudio fundado por Glen Schodfield y formado por veteranos del desarrollo internacional.

¿Cómo se ha llegado a gestar parte de un juego ambientado en Calisto, una de las lunas de Júpiter, a orillas del Ebro? La respuesta es gracias a Jorge Jiménez, director de Striking Distance Spain, que ha dedicado buena parte de su vida profesional a que los personajes de videojuegos se vean lo más reales posible, y lo ha conseguido. En concreto, su carrera destaca por la persecución del fotorrealismo, incluyendo que la piel se vea de manera realista y que los ojos de los personajes tengan vida o mejorar el antialiasing. Su entrevista, que se ha realizado en parte a través de videollamada y en parte por formulario escrito, fue propuesta por Miguel Ángel Horna.

Además de ser un especialista técnico, Jiménez es coleccionista y recuerda al principio de una videollamada que el primer juego que compró fue Super Mario 3, "recuerdo sacar el manual, leerlo... el ritual de un juego nuevo. Tendría yo unos 6 años y todavía no me planteaba nada, pero sobre los 10 u 11 años Chrono Trigger fue el juego que me hizo cambiar la perspectiva sobre los juegos. Al final del juego me emocioné mucho y me di cuenta de que los videojuegos no son solo un mata-mata, sino que eran un medio para expresar una historia, sentimientos a otras personas y llegar al corazón. Me dije que algún día me gustaría hacer algo como esto, un videojuego. Se metió eso en la cabeza y ya no salió".

Su hermano Fernando, una inspiración

Intentó crear algo por su cuenta con la ayuda de su hermano Fernando del que dice: "ha sido mi inspiración, fue la persona que me abrió camino, cuando él estaba programando yo tendría 10 o 12 años y estaba ahí, detrás, mirando embobado lo que hacía. No lo entendía muy bien pero me empezaba a llamar la atención, fue bastante importante para orientarme hacia lo que he hecho".

La programación iba para Jorge Jiménez unida a los videojuegos, pocas veces dos vocaciones se complementan tan a la perfección. Según nos cuenta, "en uno de los trabajos que hice para el colegio Mario se iba al pasado en una nube y hacía preguntas de dinosaurios. Incluso intenté hacer otras cosas pero era querer y no poder. Cuando vi Star Fox me dije que quería hacer 3D, me acuerdo de hacer un cubo e intentar rotarlo sin tener ni idea de absolutamente nada y decir que era muy difícil, claro, porque había mucha matemática detrás y yo todavía no lo sabía. Luego te das cuenta de que no es tan difícil cuando alguien te explica cómo funciona, pero si eres todavía un niño que ni sabe lo que es una matriz surgen pequeños impedimentos".

A la hora de elegir una profesión dudó entre la programación de videojuegos, entrar a Bellas Artes (motivado por su interés hacia lo que permita transmitir emociones a través de lo visual) o seguir la tradición familiar con una carrera militar: "siempre había querido también ser piloto de aviones, pero me habría tenido que ir fuera a estudiar pero yo siento absoluta pasión por mi ciudad, por Zaragoza, y no me quería mover de aquí, es donde está mi familia, donde están mis amigos y ya con 18 años yo quería quedarme aquí". Ese apego a la familia y a su tierra es clave para entender su carrera profesional.

Descartada una de las dos opciones que le gustaba optó por estudiar Ingeniería, aunque la nota no le permitió entrar en Informática y se matriculó en Industriales. No tardó en darse cuenta de que no le gustaba esa carrera, por lo que al año siguiente se volvió a presentar a Selectividad y ya consiguió superar la alta nota de corte de Informática, "en mi vida nada nunca ha salido a la primera o ha sido fácil, las cosas han ido saliendo a base de insistir y persistir hasta el final", afirma.

En la carrera sacaba buenas notas en las asignaturas de programación y las artísticas "y luego estaban otras, Mates o Estadística, que no me gustaban nada, y mis notas eran más regulares. Con el tiempo me dio mucha pena porque te das cuenta de lo importantes que son para todo lo que hago ahora, que tiene mucho que ver con cálculo numérico o que la iluminación son integrales, luego tuve que hacer un poco de puesta al día para mejorar mis habilidades con esto, pero sí es una carrera que me gustó mucho y disfruté y me abrió la puerta a poder hacer lo que hago hoy", explica.

Al acabar la carrera intentó meterse a un grado de Bellas Artes pero le disuadieron, "la gente, en general, no lo entendía. Mis padres sí y me regalaron un libro de manera imprevista, antes de trabajar yo en personajes, con renders de personajes, yo no les había hablado de personajes ni nada pero igual ya sabrían que me interesaba mucho lo visual. Con el tiempo pienso que vieron en la bola de cristal a lo que me iba a dedicar, porque yo en ese momento no sabía lo que quería hacer, no sabía nada de roles en empresas, no sabía nada de nada, solo que me gustaba la ingeniería y la parte visual y quería estar en las dos cosas, estar en medio. Es increíble cómo tus padres a veces ven tu destino antes de que tú mismo puedas hacerlo. Con el tiempo me he dado cuenta de que lo quería era ser technical artist", afirma.

Un doctorado en renderizado de la piel y antialiasing

Jiménez se planteó una nueva disyuntiva entre irse a Madrid a estudiar un máster en videojuegos o hacer el doctorado. Por circunstancias personales optó por el doctorado en la universidad de Zaragoza con Diego Gutiérrez como director de tesis, "ha habido tres personas que me han abierto puertas para estar donde estoy ahora, y él fue una de ellas", declara Jiménez, que quería una tesis doctoral práctica y relacionada con los videojuegos "que pudiera luego abrirme puertas —aclara—. Tengo la suerte de que, trabajando en gráficos, son muy aplicados por lo general, es fácil extender todo lo aprendido a algo más real".

Había dos temas principales: el render de piel en humanos y el antialiasing, a los que llegó gracias a Gutiérrez: "quiero trabajar en cosas que puedan tener un impacto, no solo en cosas que me gustan sino donde vea un cierto potencial. La primera vez que hablé con Diego le dije que quería hacer efectos especiales, humo, fuego..., y él me sacó un libro, el GPU Gems 3, que habla de técnicas de render muy aplicadas a videojuegos y había un capítulo, si no recuerdo mal era el 14, [titulado Advanced Techniques for Realistic Real-Time Skin Rendering] con una demo de Nvidia donde salía una cabeza y se veía muy real. Habían cogido técnicas que, por ejemplo, se basan en lo utilizado en El Señor de los Anillos, lo que usaron para Gollum. El problema es que en aquel momento renderizar esa cabeza se llevaba toda la potencia de la mejor GPU que tenía Nvidia, en un videojuego no podías hacerlo. Al empezar el libro pensé que quería potenciar aquello, conseguir transformarlo para aplicarlo a un videojuego y que tenía el potencial de generar un impacto en la industria", dice. Por eso decidió indagar en renderizado de la piel.

El interés por el antialiasing procede de las ganas de aplicar a los videojuegos una técnica que en ese momento no se podía utilizar en tiempo real. Es sin duda un apartado menos llamativo pero soluciona, explica Jiménez, los bordes pixelados de los objetos renderizados en 3D (los llamados dientes de sierra) y ayuda a eliminar la inestabilidad o los parpadeos generados por objetos muy pequeños, "como una valla vista en la distancia donde las barras pasan a ser más pequeñas que un píxel", pone como ejemplo.

Un vídeo mostrando un renderizado realista posible en videojuegos

Son casi tres lustros dedicados a lograr que el aspecto de los personajes sean más realistas que nunca. Estaba terminando el doctorado cuando le comentó a su director de tesis que lo que estaban haciendo era prometedor, "que teníamos que invertir un poco más, hacer un vídeo y ponerlo en Vimeo, que era una plataforma que ese momento estaba bastante en auge", señala. Estuvo un mes preparando un vídeo que mostraba una cabeza moviéndose con fluidez en un hardware similar al que se podía usar en videojuegos. "No era la típica demo técnica, sino que había varios planos, estaba coordinada la música... el envoltorio estaba bien puesto. Pusimos el vídeo en internet y tuvo bastante impacto, no sé si 700 u 800.000 visitas, lo vio mucha gente de la industria", añade Jiménez.

Separable Subsurface Scattering (Real Time), el vídeo que subió a Vimeo Jorge Jiménez siendo doctorando.

Aquel vídeo se convertiría en definitorio de su carrera en videojuegos ya que consiguió que el subsurface scattering("dispersión bajo la superficie" en español) pasara de llevarse todos los recursos de la GPU a poderse utilizar en videojuegos, entre ellos toda la serie Call of Duty

Poco después Gutiérrez le llamó para decirle que Activision le había escrito y que querían hablar con ellos por los personajes, "y aquí entra la segunda persona que me abrió puertas, Javier [von der] Pahlen, a quien estoy increíblemente agradecido. Mi nivel de inglés en aquel momento era muy malo. En mi cabeza, feliz de mí, pensaba que iba a encontrar un trabajo en videojuegos en mi casa, en Zaragoza y, además, sin saber inglés", nos cuenta Jiménez.

Teletrabajar en Activision cuando casi nadie lo hacía

Pasó por el proceso para optar a un puesto en otras empresa en Europa e incluso le hicieron ofertas de trabajo para Alemania pero las rechazó porque suponían dejar su ciudad. "Con Javier pensé que sería scam [un timo], pero no, quedé con él a tomar café y era verdad. Además, era argentino, alguien de Activision, en Zaragoza, ni siquiera fue una entrevista y, encima, hablaba español. Era un milagro. Dijo que estaba buscando a alguien para trabajar como contractor en animación pero, como yo quería seguir mi camino de forma inexorable, no quería hacer animación. Yo quería hacer render y el siguiente paso natural era trabajar en renderizado de ojos, seguía obcecado con conseguir el fotorrealismo en los personajes, lo cual es un poco estúpido ahora si lo pienso. No sé qué pasaría por mi cabeza para tomar esas decisiones. Hablamos de 2012, donde nadie teletrabajaba y menos sin experiencia previa y menos si no era capaz de comunicarse en inglés, tenía todo en mi contra", afirma.

El vídeo se hizo viral y acabaron escribiéndole más empresas. A todas les daba las gracias y les explicaba que quería trabajo en remoto. "Es cuestión de estadística, si mucha gente te escribe aunque pidas algo tremendamente complicado al final alguna te dice que sí. Por suerte para Jiménez, Von der Pahlen, el único probablemente en todo Activision que tenía gente teletrabajando en aquella época, le facilitó la entrada en la empresa. Jiménez estuvo un año trabajando como autónomo para Activision, cuatro meses de ese tiempo trabajando en render de ojos y luego la piel y el aspecto de la cara en general. Jiménez consiguió su objetivo de trabajar desarrollando videojuegos y sin moverse de Zaragoza, aunque esto supusiera tener el condicionante de una diferencia horaria de 9 horas con la sede de la empresa, en Santa Mónica (California, EE.UU.). Aunque el teletrabajo fue un poco más complicado cuando ya pasó a formar parte de la empresa, considera que con el paso de los años fue creciendo el número de personas que trabajaban a distancia en Activision ya antes de la pandemia.

Jiménez dio una charla que, apunta, "me ayudó bastante a posicionar mi carrera. Quiero recordar a Natasha Tatarchuk, que ahora trabaja en Unity y no recuerdo si en ese momento trabajaba en AMD o ya estaba en Bungie, trabajando en la parte visual de los juegos de Halo. Todos los años organiza el curso de gráficos en tiempo real más importante a nivel internacional y tuve la grandísima suerte de que nos invitó para hablar de los ojos y eso ayudó a que la gente conociera el trabajo que estábamos haciendo. Tener presencia de forma repetida en este curso en el transcurso de los años ha sido realmente importante para mi carrera. Natasha ha sido en este sentido un gran impulsor de mi carrera".

Jiménez y von der Pahlen comenzaron a colaborar con el Institute of Creative Technologies (ICT) en Los Angeles (EE.UU.), que cuenta con un light stage, una estructura metálica de forma esférica donde se capturan la forma de la cara, las texturas... con iluminación desde todos los ángulos posibles. El ICT ha participado en proyectos como El Curioso Caso de Benjamin Button o la primera película de Avatar. "Hicimos una colaboración entre lo que ellos estaban haciendo, que era un performance de una persona, sobre todo era una tema de animación, y lo que estábamos haciendo nosotros, que era, sobre todo, render de la piel y de los ojos".

Un cambio de generación que permite un gran avance en el fotorrealismo

Los personajes de los juegos de Activision dieron un salto cualitativo. Jiménez considera, una vez más, que los planetas se alinearon a su favor ya que llegó justo cuando se pasaba de PlayStation 3 y Xbox 360, donde los personajes se veían bien pero el uncanny valley estaba siempre presente a PlayStation 4 y Xbox One, con unas capacidades tecnológicas que supusieron para los personajes un salto cualitativo. En 2013 Jiménez, director técnico de Activision Blizzard, y von der Pahlen, director de R&D en Activision Blizzard, dieron una charla en la GDC "llamada Next Generation - Character Rendering que fue bastante popular. En ese momento todo el mundo hablaba de las siguientes consolas y lo que se presentó en esa charla es lo que las nuevas consolas, lo que era entonces la Play 4, nos iba a permitir hacer en cuanto a personajes. Llegamos justo a tiempo, fue el timing perfecto. Los 4 años de doctorado me dieron mucha ventaja temporal. Al final esto se trata de quién empieza antes o tiene mejores aptitudes. Yo estaba en el momento justo y en el lugar idóneo", detalla Jiménez.

Mientras que los desarrolladores estaban comenzando a investigar qué se podía hacer en los personajes con las nuevas consolas, él llevaba ya esos 4 años trabajando en esa tecnología. Aquella charla sirvió de base a los avances en el aspecto de los personajes en varios juegos importantes de la pasada generación de consolas.

Parte de la charla que impartieron Jorge Jiménez, director técnico de Activision Blizzard y Javier von der Pahlen, director de R&D en Activision Blizzard en la GDC de 2013. Aquí podéis verla completa.

Trabajo en lo más duro del desarrollo de todos los Call of Duty

Tras esa charla en la GDC de 2013 Activision le pasó del departamento de R&D (I+D) al de motor "para tener un impacto más directo en los juegos. Trabajaba en central. Durante muchos años han trabajando en Call of Duty tres estudios y cada año sacaba juego uno de ellos. Central es una entidad que da soporte a todos los estudios de Activision. En mi caso, al Call of Duty que salía cada año. Está muy bien porque estás en los créditos de muchos juegos, me siento afortunado de haber trabajado en semejante cantidad de Call of Duty a lo largo de los años pero es complicado, llegas más tarde [a la producción] y tu capacidad de influir es menor. Además, el último año de cualquier proyecto siempre es el más duro, lo cual me ha ayudado a forjar un poco más mis capacidades porque ha sido como ir a la guerra todos los años, no es como el ciclo de tres años donde hay un ramp up, el primer año es más relajado, el segundo menos y el tercero es más intenso. Yo estaba siempre en el año 3 y eso me ha ayudado a ser muy pragmático porque no hay tiempo, hay que solucionar los problemas lo más rápido y de la manera más directa posible", explica.

En juegos en los que trabajan centenares de personas, como es el caso de la serie Call of Duty lo habitual es tener un trabajo superespecializado. En efecto, Jiménez empezó centrándose en las dos especialidades de su doctorado: los personajes y el antialiasing, pero cada año se extendía un poco más hacia otros apartados como el postprocesado "para que el juego se vea a través de la cámara lo más parecido posible a como se ve a través de los ojos poniendo efectos como motion blur [desenfoque de movimiento], que hace que un objeto que se mueva rápido no se vea definido, o efectos como la profundidad de campo; "con un sistema óptico real es muy difícil tener todo en foco, siempre habrá algo que está desenfocado. Trabajé para hacerlo lo más preciso que se pudiera con la potencia que nos daban las consolas en ese momento", nos cuenta.

Después trabajó también con la luz y los materiales. "Soy una persona muy curiosa y me interesa todo. Veo una piedra en el suelo, la levanto y quiero saber qué hay debajo. Esa curiosidad, esa búsqueda de entender y de crecer también me define —considera—. También he tenido mucha suerte porque estos años en Activision he conocido a gente muy buena. En Activision tienen ingenieros increíbles, tengo mentores que me han guiado mucho, Michael Vance y Peter-Pike son de mis grandes mentores allí, son ingenieros top a nivel mundial. Eso me ha permitido crecer rápido porque cuando no sabías algo ibas a ellos y te echaban un cable".

La ventaja de conocer la programación y el aspecto artístico

Considera Jiménez que no es un ingeniero destacado pero sí tiene otros valores que lo diferencian: "uno es la intuición para tomar decisiones y hacia dónde tirar y que siempre he estado un poco entre tecnología y arte. Tengo buen ojo para el fotorrealismo, he tenido amigos que trabajan en arte de los cuales he podido aprender mucho. Cuando estudiaba hacía mis pinitos, modelaba mis personajes, aprendí a modelar por subdivisión e intentaba aprender a dibujar. Nunca destaqué pero pude entender el otro lado de las cosas y cuando trabajaba en personajes todo esto me ayudó mucho porque podía pintar en las texturas porque sabía Photoshop y cambiaba los valores que se veían mal o ponía más detalles, esas cosas se me dan bien. Una cara fotorreal la podría hacer, lo único que me costaría un año hacerla. Sé hacerlo pero no tengo la práctica", afirma.

Esta habilidad le ha resultado útil para mejorar los personajes, cuenta que durante el doctorado realizó un trabajo "de cómo la piel cambia según las expresiones faciales. Si pones el dedo en la cara y luego lo quitas se va a ver menos rosáceo donde has puesto el dedo, eso es porque la sangre se ha evacuado de esa zona. También puede cambiar el color por las emociones. Hicimos un trabajo sobre cómo esto influye en el color y cómo hacer eso en tiempo real, que la cara reaccione a estados de ánimo o a un cambio mecánico en la cara. Teníamos una expresión neutral y teníamos que hacer expresiones como tristeza, angustia o enfado y, al no disponer de un artista, las modelé yo mismo. Incluso en Striking Distance ha habido veces que he cambiado las texturas". Considera que con los años se ha ido acercando más a ser un artista técnico, "en el caso de los personajes hay que estar entre ingeniería y arte, uno de los dos componentes por separado no es suficiente", afirma, aunque en Striking Distance ha cambiado ligeramente sus funciones y cada vez programa menos.

Dentro de su fijación por conseguir personajes más realistas, considera que es una dificultad añadida el que la persona que escribe el shader o el motor no sea la misma que hace las texturas porque, apunta, "la persona que pinta muy bien las texturas no entiende del todo cómo funciona el shader y quien hace el shader no entiende muy bien cómo se pintan las texturas. No siempre es el caso, pero es bastante habitual. Aunque no seas el mejor en arte o técnica, tener la habilidad de cruzar disciplinas es tremendamente útil, ya sea para modificar un shader o para mejorar una textura. Esto es muy raro, lo habitual es que trabajes en un shader, lo des más o menos por acabado, lo pasas al artista, el artista intenta usarlo y te da un poco de feedback e igual haces un par de loops de iteración. Si tú haces las dos cosas puedes iterar miles de veces, y más yo, que soy bastante perfeccionista, esto te permite avanzar mucho más rápido".

Un doctorado en renderizado de la piel y antialiasing

Aquel salto cualitativo que ya dio la generación anterior de consolas se ha potenciado con la actual y en The Callisto Protocol Jacob Lee parece realmente el actor Josh Duhamel y no una reproducción generada por ordenador. Uno de los elementos clave para ello son los ojos. Jiménez explica que cuando miramos cualquier objeto, como una mesa, no nos fijamos en él durante horas, por lo que no tenemos mucha capacidad para distinguir si es real o no una mesa en un videojuego pero ya es distinto cuando hablamos de la piel o, sobre todo, las caras y, más concretamente, los ojos, ya que son lo primero que miramos en una persona y a lo que prestamos más atención. "Es increíble la de cosas que pasan en los ojos sin darnos cuenta y lo difíciles que son de hacer", afirma.

Entre aquellos elementos que han contribuido a dar vida realista a los personajes de The Callisto Protocol está el subsurface scattering, como el trabajo que realizó Nvidia en GPU Gems 3, un fenómeno que se produce en materiales como la piel, indica Jiménez, "imagina un puntero láser enfocado hacia la mano, la luz se introduce en la piel y genera un halo rojo porque rebota dentro de los tejidos que hay dentro de la piel y sale tanto en el punto en el que ha incidido como alrededor, y esto le da una apariencia única. O si estás al sol y hay una sombra en la mano. La sombra en otros materiales bajo la iluminación de una pequeña luz normalmente es binaria, aquí se ve negro y aquí se ve blanco. En la piel no, hay un gradiente rojo porque incide justo en el borde de la sombra, la luz se mete dentro de la piel y sale en la parte de la sombra y cuanto más lejos está del punto en que incide el color va cambiando, y esto define mucho la apariencia de la piel. Sin esto es imposible hacer que una cara se vea real. Este fue el gran salto que se dio entre Play 3 y Play 4, que se pudo introducir subsurface scattering en videojuegos y muchos juegos lo han llevado en esa generación", explica.

Cientos de detalles para lograr unos ojos realistas

Pero probablemente los ojos hayan sido más definitivos todavía para dar esa apariencia de vida a los personajes de The Callisto Protocol. Jiménez estudió cada una de las partes del ojo humano y su funcionamiento para ver cómo reproducirlo en un programa informático. No hay una única técnica que los consiga de manera alquímica, es más una labor de orfebrería tecnológica, "el subsurface scattering es importante y los ojos son importantes, pero son dos detalles entre miles, y solo con ellos te quedas todavía en el uncanny valley, por eso es tan difícil hacer personajes. Superar un salto grande es fácil, pero en el caso de los personajes no hay muchos de ellos. Hay una parte, que es lo más trivial de hacer, y luego hay que superar un tramo del camino en el que hay cientos de pequeñas cosas que hay que hacer", afirma Jiménez.

El resultado de cada una de estas técnicas es inapreciable, pero cuando se van sumando entre sí se nota la diferencia. Jiménez considera que su principal valor "no es mi capacidad con la ingeniería ni mi capacidad de modelar o pintar texturas, sino en esa capacidad de ver esos cambios pequeñitos y darme cuenta de ello", afirma.

Explica ese trabajo como ir del punto A al punto B en un laberinto; en cada encrucijada hay que decidir ir por un camino y no elegir el correcto impide llegar al destino deseado. No se trata de optar por una tecnología, sino de tomar muchas decisiones e implementar las microtécnicas de la manera correcta. Uno de los ejemplos que pone es reproducir la refracción de la luz que se produce en la córnea que hace que el iris se vea distorsionado: "si ves la cara de frente se ve menos el efecto porque no te das cuenta de que los rayos se tuercen, pero en la generación de la PlayStation 3, Xbox 360 y en sus predecesoras cuando ves el ojo de lado no ves el iris. Con la refracción lo que se hace es que al interactuar la luz con la córnea se desvía el rayo y el iris se empuja visualmente hacia fuera y se puede ver desde el lateral", afirma.

Las personas tenemos el círculo exterior del iris de un color más oscuro que el resto, es lo que se conoce como anillo limbal, que es más visible en los ojos claros y que suele irse aclarando con la edad, según cambia la córnea con los años, de ahí que se perciba de manera subconsciente como un símbolo de juventud y de buen estado de salud. Este anillo se forma porque según sea la inclinación de los rayos de luz que llegan a la córnea se van refractando y queda una pequeña zona sin iluminación, por eso se ve más oscura, cuanto más plana es, menos se tuerce la luz. Parte del trabajo de Jiménez también se ha dedicado a generar ese efecto en personajes de videojuegos.

Otro ejemplo serían las cáusticas, cuando los rayos de luz se desvían en una superficie y se concentran en un punto o una zona, como los reflejos intensos que se ven en el fondo de una piscina. Dependiendo de la forma de la córnea y del color del ojo se puede ver una cáustica en el ojo, "si pones la luz a 90º con respecto a la orientación de la superficie, otro material estaría oscuro pero en el ojo los fotones llegan al iris tras refractar en la córnea e iluminan el ojo. Una situación en la que normalmente el iris no recibiría luz y se vería oscuro, gracias a que la refracción está torciendo esos rayos es posible seguir viendo los ojos más allá de esos 90º nominales en los que la luz deja de apreciarse habitualmente. Esto es lo que sucede físicamente, pero una persona lo que notaría es que el ojo está mal, que no tendría que verse tan oscuro, la vida nos ha entrenado viendo caras y, si hay algo incorrecto, lo detectamos fácilmente", alega.

El brillo de los ojos como reflejo de un estado de ánimo

Una de las cuestiones más difíciles en los ojos, prosigue explicando Jiménez, es el reflejo: "El debate eterno es cómo de brillante tiene que estar el reflejo en un ojo, algo que en Activision lo hemos hablado mucho. No es una respuesta fácil, pasan varias cosas en los ojos que definen el valor que tiene que tener. De hecho, la intensidad del reflejo no es constante en el tiempo, depende del estado de ánimo de una persona, una persona emocionada lo va a tener más brillante. Poner un ojo un poco más brillante puede trasladar una emoción y no hablamos de cambios radicales, igual el 1 o el 2% más y ya se nota, tu cabeza sabe si la persona está triste o está feliz, igual que la acumulación de lágrimas encima del párpado inferior,que también revela el estado anímico. Esto ya lo empujamos en Activision, modelas un trocito de geometría con forma de lágrima y según como lo modeles transmite una emoción u otra. No se trata de ver una lágrima solamente, sino también acumulación de líquido,. Solo ves el reflejo de la luz en él pero, por cómo se refleja en esta zona, estamos entrenados para ver si la persona está a punto de echarse a llorar", informa.

Eso sí, si uno de esos valores es erróneo el espectador lo intuirá aunque solo tenga la sensación de que algo no está bien. "Alguien que conozco decía que en el caso de personajes todo tiene que estar por encima del 90%, si hay algo por debajo del 90 se rompe el fotorrealismo. es más importante que todas estas pequeñas piececitas estén en su sitio a tener una única pieza perfecta porque cuando una pieza no está bien se rompe la ilusión", asevera Jiménez. Para él se trata de un proceso con un alto componente de creatividad tanto a la hora de decidir dónde invertir la potencia de cálculo de las plataformas actuales y de dónde se puede recortar para conseguir el mismo efecto que se logra con un cálculo más preciso pero consumiendo la menor cantidad de recursos posible para que se pueda utilizar en un videojuego. "Es como ver cuántos tornillos puedes quitar de un avión sin que empiece a tambalearse y que vaya lo más rápido posible a base de optimizar cálculos o utilizar una ecuación mucho más simple, que no es tan precisa pero que visualmente es similar", compara.

Para que los videojuegos se asemejen lo máximo posible a la realidad ha llegado a documentarse con investigaciones científicas de oftalmología, "la relación entre disciplinas ayuda mucho a crecer las cosas y es una mina potencial de avances, de coger lo que otros han hecho, hay mucho que aprender hasta de artículos científicos médicos", considera Jiménez.

A esto hay que añadir los conocimientos artísticos, por eso Jiménez aboga porque sea un artista técnico el encargado de los personajes, "tan importante es tener el shader que permita hacer esa refracción como poner las texturas correctas con los valores exactos; por ejemplo, la esclera no debe ser demasiado oscura ni demasiado brillante. Tiene que tener las venas en el lugar adecuado y con la forma adecuada, y esto es increíblemente difícil. La forma de la apertura ojo es tremendamente complicada de hacer de forma fotorrealista, cualquier fallo en seguida se nota", afirma. En Striking Distance han trabajado en esa apertura siempre con referencias reales porque es de los elementos menos intuitivos a la hora de diseñar un ojo.

Matemáticas de Bachillerato y papers como base de la tecnología

Para llegar a esta pericia en la recreación del ojo humano en un videojuego Jiménez se informó sobre el funcionamiento de este órgano y aplicó sus conocimientos en física, "casi todo lo que son render en gráficos son matemáticas de Bachillerato. Es verdad que ahora las cosas están avanzando más y son cosas que se enseñan habitualmente en la universidad como cálculo numérico. Cualquier persona que quiera dedicarse a esto, por favor, que no haga como yo, que atienda a esas clases de matemáticas y estadística porque son absolutamente críticas. También que se lea artículos porque no se inventa algo de cero, se busca inspiración; por ejemplo, había papers de gente que había mirado cómo hacer para que haya esa refracción y se vean esas cáusticas. El problema es cómo hacer eso en un juego, yo le añadí esa parte creativa en la que ves hasta dónde han llegado otros y lo adaptas y mejoras para que pueda funcionar en videojuegos, siempre dándole tus aportes", considera Jiménez, quien reconoce que siempre se va fijando en los ojos con ese interés profesional y que incluso al comenzar a salir con su pareja ella se dio cuenta de que a veces no estaba mirándola a los ojos con el romanticismo del principio de una relación, sino viendo cómo funcionaban y se veían sus ojos.

"Es observar el mundo con perspectiva analítica", acota Jiménez, que reconoce que también le sucede cuando ve una oreja que deja pasar la luz, con los dientes de la gente "o si ves una sombra en el suelo. Tú ya no ves una sombra, estás pensando en cómo podrías reproducir eso, o ves las cáusticas en un vaso. Ves la realidad a través de la comprensión, entender eso que ves o si se trata de un fenómeno nuevo".

Si los ojos son un punto clave para Jiménez, reconoce que la otra asignatura pendiente que tenían los videojuegos hace años, los dientes, le interesaba menos. "Si ves el vídeo que sacamos en Activision hace años, los dientes se ven artificiales, porque lo dejas para el final y luego no te da tiempo. Estoy muy orgulloso de cómo han quedado en The Callisto Protocol, es la primera vez en 14 años que hemos conseguido que se vean bien, muy poca gente puede modelar unos dientes imaginándolos. Aunque no nos demos cuenta, hasta la persona que parece que tiene los dientes perfectos no son nada perfectos ni simétricos y en cuanto vemos esa perfección nos saca fuera. Cada diente digital de Josh Duhamel en The Callisto Protocol es como su diente real, 100%", dice.

Partir de lo que ya se ha investigado incluso desde otras ciencias

El trabajo de Jiménez es la demostración de que cuando se afirma que la creación de videojuegos está en la vanguardia de la tecnología no es una exageración. La tecnología iniciada por Nvidia dio lugar a una tesis doctoral y a la evolución de los personajes creados por ordenador, y este conocimiento se acaba extendiendo. Dice al respecto Jiménez: "Las empresas compiten pero hay muchas cosas que sí se comparten". Entre el material que se puede utilizar como documentación, aparte de los tres GPU Gems que publicó Nvidia con artículos en los que los autores contaban técnicas destacadas estaban los ShaderX, ahora llamados GPU Pro, también de recopilación de artículos.

Además, hay publicaciones más académicas, de las cuales la más popular es Transactions on Graphics, a cargo de Siggraph, una organización dedicada a las técnicas más novedosas de gráficos por ordenador y que tiene un proceso duro de selección de artículos. A Jiménez le aceptaron al comienzo de su carrera un artículo sobre los cambios de color en la piel.

Al principio de la entrevista había mencionado Jiménez que había tres personas claves en su carrera: "Diego [Gutiérrez, su director de tesis] me abrió la puerta a los gráficos, a la industria, Javier [von der Pahlen, de Activision] me ofreció el primer trabajo remoto y Glen me abrió un estudio aquí. He tenido suerte de estar rodeado de gente muy generosa que me ha mentorizado mucho, me ha guiado y ha estado siempre para mí, pero estas tres personas han apostado fuerte por mí", recapitula Jiménez.

Glen es Glen Schodfield, creador de la serie Dead Space y cofundador de Sledgehammer Games, uno de los tres estudios que trabaja en Call of Duty. Dice Jiménez: "Glen me recuerda a veces cómo nos conocimos. Yo estaba haciendo una presentación sobre el renderizado de ojos en Activision y llamé su atención. Fue el primero en invertir en la tecnología digital de humanos en la que estábamos investigando en ese momento y que terminó usándose en Call of Duty: Advanced Warfare. Puede que todo empezase allí. Casi una década después tengo la suerte de cerrar el círculo y de que trabajemos otra vez juntos en The Callisto Protocol, que también incorpora un arte y una tecnología especiales para sus personajes".

Años persiguiendo la idea de tener un estudio en Zaragoza

La idea de crear un estudio de videojuegos en la capital aragonesa es muy anterior a la existencia de Striking Distance, Jiménez se lo fijó como objetivo cuando se convirtió en empleado de Activision, siempre regido por el amor al país y a su ciudad, aunque ha estado en numerosos países. "Zaragoza es una ciudad maravillosa, a veces no bien comprendida. La gente suele pensar que es más pequeña pero tiene 700.000 habitantes, como San Francisco, y está en esa intersección entre ciudad pequeña y masiva, puedes ir andando a cualquier sitio. La DGA en su día me dio una beca para el doctorado y siempre he pensado en la manera de contribuir con mi granito de arena para que esa inversión sea rentable también para mi tierra, soy muy maño, muy aragonés y orgulloso de donde procedo", puntualiza.

Reconoce que durante los años que trabajó en Activision en remoto al principio estaba bien pero luego cuesta separar el trabajo de la vida personal y que echaba en falta el contacto con el equipo, "me di cuenta a base de viajar mucho allí, a Estados Unidos, llegué a ir cinco veces al año y pasaba un par de semanas en un estudio y el contacto personal y el intercambio de ideas cambia todo, me di cuenta de que yo quería eso. Soy una persona que trabaja duro y estoy apasionado por lo que hago, me he esforzado mucho pero también he tenido mucha fortuna, lo que he hecho en Striking Distance ha sido un regalo caído del cielo. Cuando me contaban un juego AAA, narrativo, hiperrealista, con salto generacional... lo tenía todo para mí, y abriendo oficina aquí", nos cuenta y dice también que desde que visitó Striking Distance Studios en San Ramon (California, EE.UU.) "me enamoré instantáneamente del proyecto y del equipo".

Para él es importante poder estar en una ciudad de tamaño medio, salir del estudio y poder disfrutar del terraceo del centro de Zaragoza, y esta ubicación sirve también para potenciar las relaciones entre los trabajadores, "quiero buscar la unidad en el equipo y que esto sea un viaje juntos, ir a la guerra juntos y volver. Estoy contento con las dinámicas que se han generado", añade.

El realismo de los personajes de Striking Distance va más allá de mejoras en la tecnología de la renderización, a medio camino entre la tecnología, la ciencia y el arte. Según Jiménez, "he intentado que le equipo pudiera trabajar como yo podía trabajar en personajes en Activision por mi cuenta, con ese loop cerrado de personas trabajando de manera muy cercana e iterando muy rápido". El equipo de Striking Distance España se compone de 14 personas, cuatro ingenieros de renderizado, otros tantos de core, uno de herramientas, dos artistas técnicos, un administrador de sistemas, el director de operaciones y Jiménez al frente del estudio. El siguiente paso natural es añadir artistas, dice Jiménez, siguiendo su convicción de que la tecnología y el arte deben ir de la mano "creo que con esta mezcla de disciplinas seremos un equipo único".

Potenciar el realismo en todos los aspectos de The Callisto Protocol

El estudio de Zaragoza se ha encargado de lo que Jiménez denomina "technical visuals" o gráficos técnicos, que abarcan desde la captura de objetos mediante fotogrametría al renderizado, "justo en esa intersección entre tecnología y arte —dice Jiménez—. La iluminación es un factor clave en el terror y el fotorrealismo, y es una de las áreas en las que nos hemos centrado. El trazado de rayos en tiempo real es una tecnología moderna que creemos puede difuminar la frontera entre las películas y los videojuegos y queremos ser parte de esa revolución. Utilizamos reflejos con trazado de rayos como ya hacen otros juegos, pero lo que hace que The Callisto Protocol sea espacial es queutilizamos sombras con trazado de rayos para prácticamente todas las luces del juego y todas nuestras luces tienen sombras. Esto supuso un tremendo reto tecnológico incluso en la generación actual de consolas y es posiblemente una de las características visuales más destacadas del juego. Las sombras son uno de los pilares de los juegos de terror y son la base para crear figuras humanas, criaturas y entornos realistas. Unas sombras realistas llevan la experiencia de terror a otro nivel", sostiene.

El equipo apostó fuerte por el trazado de rayos, Según Jiménez, "en algunos casos hemos conseguido que vaya 10 veces más rápido que la implementación base encontrada en el motor, solo con este grado de optimización hemos podido ofrecer tal cantidad de características de raytracing en la generación actual de consolas. También nos hemos encargado del diseño y el renderizado de los personajes. Los departamentos de arte y de tecnología han trabajado juntos para lograr algo que yo creo que es muy especial. Estoy muy orgulloso del resultado".

Jorge Jiménez en 5 preguntas

1- ¿Hay algún apartado del juego en el que te haya resultado especialmente satisfactorio trabajar?

En primer lugar, los personajes, que es el campo en el que llevo trabajando 15 años y que se ha convertido con el tiempo en una cruzada personal. Tenía en mente un plan para lograr el fotorrealismo que he desarrollado durante toda una década y ahora podía llevarlo a cabo. Nuestra tecnología doble digital nos permitió reproducir la realidad con las capacidades de las consolas actuales. No solo en un entorno controlado como puede ser una demo o un vídeo, sino directamente en la jugabilidad. Esta tecnología, llamada Realis puede crear versiones digitales fieles de los actores como Josh Duhamel (conocido por Transformers entre otras) como Jacob Lee y otros assets como su traje de prisionero. Fue una sorpresa que Jacob Lee fuese nominado hace poco para la categoría de Personaje Destacado en los premios VES . Fue un honor y un sueño hecho realidad ver nuestros nombres junto a otros nominados como Avatar, Jurassic World o Top Gun. Durante los premios tuvimos a James Cameron a unos metros, y es uno de mis directores favoritos por películas como Aliens o Terminator. Nunca me imaginé que estaría rodeado algún día por tal cantidad de talento.

También me gustó mucho trabajar en el sistema de gore, sobre todo las salpicaduras de sangre. Nos esforzamos por conseguir el aspecto correcto de la sangre en el color, la forma y el movimiento. Utilizamos efectos prácticos y eso le dio un toque especial. Es algo parecido a lo que ha hecho hace poco Stranger Things, en la que el personaje de Vecna tiene muy poco de ordenador.

También queríamos darle un toque científico. Siempre buscando el realismo, estudiamos criminología para saber cómo es una salpicadura real. Es posible saber de dónde procede la sangre por cómo son las salpicaduras que se ven en el suelo o las paredes. Nosotros teníamos el problema inverso, conociendo la fuente de la sangre y cómo fue el impacto queríamos saber cómo debería ser la salpicadura de sangre.

Hicimos pruebas con sangre artificial para escanear con realismo las salpicaduras. Rociamos sangre, golpeamos con un martillo bolsas llenas de sangre artificial e incluso disparamos pistolas de aire comprimido para aprender sobre sus dinámicas. Nos lo pasamos muy bien haciéndolo.

También hicimos captura de cómo la sangre real se seca con el tiempo y cómo esto afecta a su color. Esto nos permitió ofrecer una paleta de color a los artistas que representaba el color verdadero de la sangre, desde cuando está fresca a cuando se ha secado del todo.

Aplicamos el conocimiento criminológico y el de nuestros experimentos para lograr lo que creemos que es una experiencia gore única, realista y visceral en The Callisto Protocol.

En Striking Distance Studios España seguimos un método único que aúna la tecnología, la ciencia y el arte.

2- ¿Qué ha resultado lo más difícil del desarrollo de The Callisto Protocol?

Técnicamente, los personajes fueron una de las áreas en las que teníamos más expectativas en lo visual. Nos pusimos unas metas muy altas. Necesitábamos muchas piezas y la colaboración de varias disciplinas, desde las relaciones con las empresas de escaneado externas a crear nueva tecnología y los flujos de trabajo para los gráficos. Todo debe estar en su sitio correcto para que los personajes no caigan en el uncanny valley. Los assets y los materiales, la iluminación y, por último, la tecnología.

Nuestras metas con la iluminación eran muy ambiciosas: que casi todas las luces tuvieran sombras y que estas sombras tuvieran trazado de rayos era todo un reto. Para que casi todas las superficies pudieran reflejar los trazados de rayos y que todas las luces del juego se transmitan a través de trozos pequeños como las orejas o las fosas nasales tuvimos que asumir riesgos controlados e invertir en nuevas tecnologías que lo hicieran posible", dice Jiménez.

Desde el punto de vista de la gestión, no fue fácil crear un estudio nuevo en España durante la pandemia. Construir el espacio físico, contratar al personal y crear una cultura de empresa. Pero ha sido mi parte favorita del proyecto. Trabajar con este equipo increíble es lo que de verdad me motiva cada día.

3- ¿Cuál es tu serie de videojuegos favorita?

Me encantan Final Fantasy y Zelda y Resident Evil, pero Chrono Trigger ocupa el lugar de mi juego favorito de todos los tiempo. Todavía tengo el cartucho que jugué en su día. Soy un gran fan de Akira Toriyama, Hironobu Sakaguchi y Yosinori Mitsuda. Que estén juntos en este juego lo convirtió en algo especial de verdad. Al ver el emotivo final me di cuenta de que los videojuegos pueden contar historias que te atrapen. En ese momento tomé la decisión de que estaría haciendo videojuegos el resto de mi vida.

4- Los juegos de terror son muy populares hoy en día, ¿crees que es porque la potencia gráfica de las consolas y el PC permiten que los juegos sean más realistas o existe otra razón?

Creo que el realismo es clave en todos los videojuegos de miedo. Logra que la experiencia sea creíble y es parte de lo que se necesita para producir el terror de verdad en el usuario. En la industria del videojuego estamos muy cerca de conseguir un renderizado fotorrealista, quizás en cuestión de unos pocos años. Dicho esto, creo que la nueva ola de juegos como P.T. fueron también una de las razones por las que el género se revitalizó hace unos años.

5- ¿A quién te gustaría que entrevistásemos?

Pol Jeremias, que ha estado en Lucas Arts, Pixar y Netflix y Alejandro Gil (de Activision, 31st Union y Digital Insight Games).