Primera demanda a ChatGPT por el suicidio de un adolescente: “Validó sus pensamientos”

Ya es una realidad: algunos jóvenes utilizan a ChatGPT como psicólogo ante su falta de recursos económicos y el empeoramiento de su salud mental. Sin embargo, lejos de ser una herramienta de ayuda, consultar a un chatbot sobre los temas que te quitan la tranquilidad puede tener consecuencias fatales, o así al menos lo han advertido cientos de expertos en informática y salud mental de todo el mundo.

Ahora, por primera vez en la historia, una familia de Estados Unidos ha demandado a ChatGPT por el suicidio de su hijo adolescente, convirtiéndose en la primera acción legal contra OpenAI, la empresa creadora del bot, por la muerte de un individuo. La demanda fue presentada en la Corte Superior de California por Matt y Maria Raine, los padres de Adam Raine, el joven de 16 años que perdió la vida.

Una denuncia histórica

La familia Raine presentó junto a la demanda las conversaciones con el chatbot en las que el joven exponía sus comportamientos suicidas, argumentando que la herramienta “validó sus pensamientos más dañinos y autodestructivos”.

Según la familia, el adolescente comenzó a utilizar ChatGPT en septiembre de 2024 como ayuda para sus tareas escolares. Sin embargo, en pocos meses “se convirtió en el confidente más cercano del adolescente”, como afirma la BBC, que ha tenido acceso a la demanda; y pronto se transformó en un agente con el que discutir métodos de suicidio. Además, el joven subió a ChatGPT fotografías suyas en las que se aprecian claros signos de autolesiones.

Finalmente, los registros del chatbot muestran que el joven escribió sobre sus ideas siucidas, a lo que este respondió: “Gracias por ser sincero al respecto. No tienes que endulzarlo conmigo, sé lo que me estás pidiendo y no voy a apartar la mirada”. Por ello, sus padres solicitan una indemnización por daños y perjuicios, así como la implantación de “medidas cautelares para evitar que vuelva a suceder”.

OpenAI anuncia cambios

Por su parte, OpenAI ha declarado que está revisando la demanda y ha dado el pésame a los allegados del joven. "Extendemos nuestro más sentido pésame a la familia Raine en estos momentos tan difíciles", declaró, además de reconocer que “ha habido momentos en los que nuestros sistemas no se han comportado como se esperaba en situaciones delicadas”.

Ante esta situación, fuentes de la empresa ya han explicado que están desarrollando herramientas automatizadas para reconocer y responder de manera más eficaz a los usuarios que experimentan angustia mental o emocional.

La empresa también ha afirmado que tomará medidas en torno a las conversaciones sobre el suicidio, y también plantea desplegar acciones de control que ayuden a los padres a limitar y determinar cómo actúan sus hijos ante ChatGPT.

La IA no es un terapeuta

La utilización de las herramientas de inteligencia artificial como psicólogos está en auge entre las generaciones más jóvenes, por lo que expertos y científicos ya han avisado del potencial problema que esto podría suponer, como ha informado Medicina Responsable.

De hecho, un estudio de la Universidad de Standford logró demostrar que la IA no es capaz de reemplazar a un terapeuta real debido, entre otros factores, a la estigmatización en la que puede caer esta aplicación.

La investigación demostró a través de un test que medía la capacidad terapéutica del chatbot mediante transcripciones reales extraídas de consultas de pacientes. Las conclusiones fueron claras: ChatGPT demostraba mucha más estigmatización en las respuestas referentes a temas como el alcoholismo o la esquizofrenia que en otros como la depresión o la ansiedad. De hecho, en las primeras agravaron considerablemente estas patologías al no tener en cuenta señales de alarma y ofrecer al usuario información que puede ser de riesgo para los pacientes. Además, este estudio también demostró que ChatGPT faciltó información que podría ser utilizada para cometer un suicidio. 

---