La empresa china Alibaba Group, por medio de un equipo de su Instituto de Investigación de Computación Inteligente, está llevando a cabo el desarrollo de una nueva IA que vaticina un gran cambio en el mundo de la animación tal y como lo conocemos (e incluso podría afectar a creadores de contenido en redes sociales como TikTok). Animate Anyone es el nombre de este proyecto que, como ya nos deja intuir, está centrado en la animación de personajes y la generación de vídeos a partir de imágenes fijas. ¿Quieres conocer más de esta herramienta de última generación? Te contamos cómo funciona.
Así es Animate Anyone, la IA que revolucionará la animación con personajes humanos realistas
Animate Anyone se está promocionando como la nueva IA síntesis pionera de imagen a vídeo que proporcionará a miles de personas y equipos de trabajo la capacidad de animar personajes realistas en muy poco tiempo y con tremenda exactitud. Su modelo de tecnología, actualmente aún en fase académica, va a revolucionar la animación transformando imágenes en secuencias de vídeo controlables gracias a algoritmos avanzados, como podéis ver en el vídeo de ejemplo que os dejamos aquí debajo.
Según han explicado sus responsables, entre los que se encuentran Li Hu, Xin Gao, Peng Zhang, Ke Sun, Bang Zhang y Liefeng Bo, Animate Anyone se aprovecha de modelos avanzados de redes neuronales para animar personajes en imágenes automáticamente. En esencia, esta IA es capaz de comprender y replicar gestos y movimientos humanos rápidamente, y su sistema está tan entrenado con extensos grupos de datos que hasta es capaz de predecir y representar movimientos. Todo ello con una pasmosa facilidad.
Los creadores de Animate Anyone aseguran que hoy día todavía "persisten desafíos en el ámbito de la conversión de imagen a vídeo, especialmente en la animación de personajes, donde mantener temporalmente la coherencia con la información detallada de los personajes sigue siendo un problema formidable". No obstante, con esta IA y el poder de los modelos de difusión se va lograr "preservar la coherencia de las características de apariencia intrincadas de la imagen de referencia" en conjunto con ReferenceNet para fusionar características detalladas a través de la atención espacial.
"Para garantizar la controlabilidad y la continuidad, introducimos una guía de pose eficiente para dirigir los movimientos del personaje y empleamos un enfoque de modelado temporal efectivo para garantizar transiciones fluidas entre frames de vídeo", explican acerca del trabajo de esta herramienta en la web de la IA, alojada en GitHub.
"Al ampliar los datos de entrenamiento, nuestro enfoque puede animar personajes arbitrarios, lo que produce resultados superiores en la animación de personajes en comparación con otros métodos de conversión de imagen a video. Además, evaluamos nuestro método en base a puntos de referencia para vídeos de moda y síntesis de danza humana, logrando resultados de última generación".
while we are still waiting for the codes for Animate Anyone, here's a quick run down on how it's this good 😎👇 pic.twitter.com/zbqE1yaZWy
— bycloud (@bycloudai) December 2, 2023
¿Por qué Animate Anyone podría suponer un cambio drástico?
En especial, Animate Anyone se diferencia del resto de técnicas de animación por su universalidad. Es decir, mientras que otras técnicas o IAs requieren de modelos específicos y/o personajes predefinidos de antemano, esta herramienta puede aplicarse a cualquiera sin límites y con mucha facilidad, lo que podría dar acceso al mundo de la animación a muchas más personas con proyectos en mente y suponer un verdadero cambio drástico en esta industria.
Tampoco podemos olvidarnos de que esta IA podría ser un punto de inflexión en la creación de contenido para redes sociales como TikTok o Instagram si se viraliza, ya que abre la posibilidad a millones de personas de crear vídeos animados detallados, incluso aunque no tengan grandes conocimientos en este campo.
This will change EVERYTHING you know about character animation!
Uncover the innovative method "Animate Anyone" is using to shatter the limits of animation.
Want to be part of the animation revolution?
See how animators are creating the impossible with this amazing new tech. pic.twitter.com/BJlBW33lsm
— Ai Buzz (@AiBuzzNews) December 4, 2023
Los responsables de Animate Anyone han recibido en los últimos tiempos un creciente interés y apoyo por parte de mucha gente. En una reciente actualización del proyecto de este 3 de diciembre se ha confirmado que están trabajando para pulir la IA lo máximo posible y preparar una demostración con el código fuente de cara a su lanzamiento público, aunque todavía no pueden comprometerse con una fecha de lanzamiento específica... Sea como sea, las expectativas ya están altas y cada día más se unen a la espera de esta ambiciosa IA.
