Jacob Coxon, investigador especializado en inteligencia artificial y antiguo trabajador de OpenAI y Anthropic, ha decidido abandonar su puesto en la compañía de IA después de tres años dedicado a la investigación de preentrenamiento. Su marcha llega acompañada de una advertencia especialmente contundente sobre el ritmo al que la industria está desarrollando modelos cada vez más capaces y sobre el riesgo de alcanzar una superinteligencia antes de comprender realmente cómo controlarla. Y sí, tiene miedo.
"Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia auto-mejorante y apostando con nuestras vidas", publicó en su cuenta de X.
Coxon considera que el salto hacia sistemas sobrehumanos puede producirse antes de lo que buena parte de la sociedad imagina. "No subestiméis el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales", apunta.
Su preocupación, además, no se limita a las voces externas que cuestionan el desarrollo acelerado de la IA. "Las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década", indica. "Esto no es un truco de marketing -advirtió-. Si acaso, muchos ejecutivos e investigadores senior moderarán su lenguaje en la prensa para sonar sensatos, pero oigo a las mismas personas expresar miedo en privado. Ninguna otra actividad humana representa este nivel de peligro", prosigue.
Coxon establece una diferencia entre las dos compañías en las que ha trabajado. A su juicio, Anthropic comprende mejor las consecuencias de sus decisiones, aunque eso no evita que participe en la carrera tecnológica. "En OpenAI, muchos no han interiorizado profundamente las apuestas civilizatorias. En Anthropic, las apuestas están bien comprendidas, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo", concluye.
Para el investigador, esa dinámica puede convertirse en un problema en sí misma. "Aceptar esta carrera e ingresar en el endgame es una apuesta soberbia que no debería lanzarse desde el Slack de una empresa privada", termina.
Aun así, Coxon se muestra "optimista sobre el potencial para la coordinación". Considera que acontecimientos como el ataque a Hugging Face que una IA de OpenAI realizó por su cuenta "han hecho que los acuerdos de ritmo entre laboratorios de Estados Unidos sean más viables". Sin embargo, no cree "que estemos en camino de prevenir una carrera global", algo que podría exigir medidas como "una prohibición temporal de mejorar las capacidades de los modelos".
Evan Hubinger, investigador de Anthropic, comparte algunas de estas preocupaciones. Expresa su sincera creencia de que la IA podría representar una amenaza existencial para la humanidad, afirmando: "Jacob tiene razón aquí. Realmente creemos con sinceridad que la IA podría matar a todos los humanos". En cuanto a su propia evaluación, Hubinger estima la probabilidad de tal resultado en más del 10% dentro de la próxima década.
Si bien reconoce que Anthropic está haciendo todo lo posible, Hubinger admite que actualmente carecen de un plan claro para abordar el alineamiento de la superinteligencia y no están en camino de lograrlo. Su principal preocupación reside en la rápida aparición de la superinteligencia a través del auto-mejoramiento recursivo, un proceso que, según él, está avanzando más rápido de lo previsto.
