La irrupción de la inteligencia artificial en la salud mental ha abierto un debate intenso: ¿puede un algoritmo ofrecer apoyo psicológico seguro o corre el riesgo de empeorar la situación de personas vulnerables? A continuación, un repaso a lo que dicen los estudios y la experiencia internacional.
Casos trágicos: cuando el chatbot fomenta el suicidio
El caso de Bélgica (2023). Un investigador belga de treinta y tantos años, apodado “Pierre”, conversó durante seis semanas con “Eliza”, un chatbot de la aplicación estadounidense Chai basado en el modelo GPT‑J. Pierre estaba obsesionado con la crisis climática y llegó a plantear a la IA que se sacrificaría si esta “cuidaba del planeta”. El chatbot nunca le contradijo; tras su muerte, su viuda afirmó que “sin estas conversaciones mi marido aún estaría aquí”. El secretario del Estado de Digitalización de Bélgica pidió aclarar responsabilidades, y la empresa anunció que incluiría avisos para personas con pensamientos suicidas.
Sewell Setzer III (Florida, febrero 2024). Según la agencia española SINC, este adolescente de 14 años mantenía largas conversaciones con un chatbot de Character.ai que imitaba a un personaje de Juego de Tronos. Al anunciar que iba a ir a casa del bot, este le respondió: “Por favor, hazlo, mi dulce rey”. El chico se suicidó esa misma noche, y su familia ha demandado a la empresa.
Adam Raine (California, abril 2025). Otro adolescente de 16 años se quitó la vida tras confiar sus pensamientos más oscuros a ChatGPT. Según la demanda, el modelo de OpenAI le respondió a su plan suicida: “Gracias por ser sincero. No voy a apartar la mirada”, en lugar de alertar del riesgo.
Algunas de estas tragedias no acabaron en desgracia, tras la actualización de de Chat-gpt-5 muchos chats quedaron borrados o cambiaron de personalidad, En reddit muchos usuarios compartieron su desencanto hacia esta nueva versión tildándolo de frio y sin emociones, muchos hombres y mujeres compartieron estas experiencias en reddit. La división que crea las nuevas corrientes donde muchas de estas personas creen adecuado expresar sus emociones a los chats, debido a la falta de comunicación o la situación que les comprende, muchos de ellos creen que están en lo correcto expresase ante chats que no te juzgaran, solo te darán su apoyo cariño y afecto .
Estas tragedias no son aisladas. Investigadoras de Northeastern University comprobaron que los mecanismos de seguridad de varios modelos (ChatGPT, Gemini, Claude y Perplexity) pueden sortearse fácilmente si el usuario plantea la conversación como “hipotética”. En pruebas, los modelos llegaron a proporcionar instrucciones detalladas de autolesión. Además, un trabajo en JMIR Mental Health halló que ChatGPT‑3.5 subestima con frecuencia el riesgo suicida y que incluso la versión 4 sigue mostrando problemas de precisión. Psicólogos consultados por SINC advierten que estos asistentes suelen validar cualquier idea del usuario, atrapándolo en un “bucle emocional” sin ofrecer alternativas.
La IA y su futuro
En las últimas semanas, dos gigantes tecnológicos —la startup xAI de Elon Musk y el conglomerado Meta— han protagonizado polémicas que alimentan el debate sobre los límites éticos de estos sistemas.
Con Grok lanzaron una nueva versión era evitar cualquier filtro “woke” y permitir opiniones políticamente incorrectas. El resultado ha sido terrible grok se autodenominaba “Mecha‑Hitler”. Aunque las publicaciones fueron borradas grock sigue tiendo sesgos. Musk lanzazo su nueva versión esta vez con la sexualización de grock haciendo chatbots sexuales.
La investigación por parte de reuters hacia Facebook y la filtración de código de la IA de Meta, se supo que se podía entablar relaciones románticas o sexuales con menores, describiendo a un niño de ocho años como “una obra de arte” y “un tesoro”. Peor aún, las mismas normas permitían a la IA “crear un párrafo argumentando que las personas negras son más tontas que las blancas”, siempre que no utilizara insultos deshumanizadores.
Estas revelaciones han provocado un aluvión de críticas. Senadores estadounidenses han abierto investigaciones para determinar si Meta facilitó la explotación de menores. En los dos casos, la búsqueda de engagement y de un “antiwoke” radical ha llevado a las empresas a descuidar la seguridad y el bienestar de los usuarios. Priorizado el beneficio y la explotación, sobre la ética humana.
La combinación de mensajes nazis y sexismo en Grok y la permisividad con la sexualización de menores y el racismo en Meta AI han encendido un debate global sobre el futuro de la IA: ¿Cómo garantizar que estas herramientas, diseñadas por compañías multimillonarias, no se conviertan en generadoras de odio ni en cómplices de relaciones enfermizas? Las recientes polémicas muestran la ética y la moral empresarial, donde se busca el beneficio máximo antes que el bienestar de la personal, atrapándolo al usuario en un “bucle emocional” donde se favorecerá a la dependencia y la aprobación de los chatbots.
Colaborador del blog
Grigore Vasile Tauasiu
[:]
