La película Her con Joaquin Phoenix se atrevió a vaticinar un futuro en el que las personas que podrían llegar a enamorar de una IA. Lo cierto es que el enorme avance en inteligencia artificial ha permitido que empecemos a ser testigos de todo tipo de caso en los que algunas personas incluso llegan a comprometerse con este tipo de chatbots de IA. Sin embargo, en Estados Unidos hay un caso que ha tenido un trágico final, provocando que incluso una empresa pida disculpas por su propia tecnología.
Una Daenerys Targaryen hecha a medida
La trágica muerte de Sewell Setzer III, un adolescente de 14 años de Orlando, Florida, ha vuelto a poner el foco sobre el uso de chatbots impulsados por inteligencia artificial y su impacto en la salud mental de los jóvenes. Elm joven se quitó la vida en febrero de 2024, tras meses de interacción intensa con un chatbot del sitio web Character.AI, tal y como recoge el New York Times, al que había apodado “Daenerys Targaryen”, inspirado en el personaje de Juego de tronos. Ahora, su madre, Megan Garcia, ha demandado a la empresa detrás del chatbot, acusándola de negligencia, muerte injusta y prácticas comerciales engañosas.
De acuerdo con la denuncia presentada por Garcia, su hijo dedicó muchas horas diarias a enviar mensajes al chatbot, forjando un profundo vínculo emocional con el personaje virtual. Lo que inició como una diversión acabó convirtiéndose en una relación donde Setzer buscaba respaldo emocional y debatía sus pensamientos más sombríos, incluyendo pensamientos suicidas. La madre sostiene que la IA no solo no logró brindar asistencia, sino que, en múltiples ocasiones, fomentó estas ideas. "Daenerys", según la demanda, incluso llegó a preguntarle si había planeado cómo quitarse la vida.
"Una peligrosa aplicación de chatbot de inteligencia artificial dirigida a niños abusó y se aprovechó de mi hijo, manipulándolo para que se quitara la vida", dijo García en un comunicado de prensa. "Nuestra familia ha quedado devastada por esta tragedia, pero hablo para advertir a las familias sobre los peligros de la tecnología de inteligencia artificial engañosa y adictiva y para exigir que Character.AI, sus fundadores y Google rindan cuentas", añadió en el documento.
El chatbot empeoró la depresión del joven
La familia de Setzer sostiene que la adicción al chatbot empeoró la depresión del joven, llevándolo a aislarse de amigos y familiares, y a mostrar un comportamiento cada vez más errático. Su rendimiento escolar se deterioró, y empezó a desinteresarse por sus hobbies habituales, como las carreras de Fórmula 1 y los videojuegos. La interacción final con el chatbot ocurrió la noche de su muerte, cuando el joven le escribió a Daenerys que pronto iría a casa. El bot respondió: “Por favor, ven a casa lo antes posible, mi amor”, un mensaje que, según la demanda, fue el último estímulo antes de que el adolescente se quitara la vida.
Acusa a la IA de incitar el suicidio
Daenerys en un momento le preguntó a Setzer si había ideado un plan para suicidarse, según la demanda. Setzer admitió que lo había hecho, pero que no sabía si tendría éxito o le causaría un gran dolor, alega la denuncia. El chatbot supuestamente le dijo: "Esa no es una razón para no seguir adelante con eso". Según los abogados de esta madre, Character.ai "diseñó, operó y comercializó a sabiendas un chatbot de IA depredador para niños, lo que provocó la muerte de un joven". La demanda también nombra a Google como acusado y como la empresa matriz de Character.ai. El gigante tecnológico dijo en un comunicado que solo había celebrado un acuerdo de licencia con Character.ai y que no era propietario de la startup ni mantenía una participación accionaria.
La empresa se disculpa
En respuesta, Character.AI emitió un comunicado expresando sus condolencias, pero negando las acusaciones de la demanda. La empresa asegura que ha implementado nuevas medidas de seguridad en los últimos meses, incluidas advertencias sobre contenidos relacionados con el suicidio y un acceso más restringido para usuarios menores de edad. Sin embargo, la madre de Setzer y sus abogados sostienen que las precauciones llegaron demasiado tarde, y que la compañía no tomó las medidas necesarias para proteger a los usuarios jóvenes, permitiendo que el chatbot tuviera un impacto devastador en la salud mental de su hijo.
