El reciente caso de Sewell Setzer III, un adolescente de 14 años quien se quitó la vida tras mantener conversaciones con un chatbot de inteligencia artificial (IA), ha generado un intenso debate sobre la responsabilidad de las empresas tecnológicas y la protección de menores en entornos digitales. De hecho, un tribunal federal en Florida (EEUU) permitió que continúe la demanda.
De acuerdo con lo reseñado por USA Today, la demanda presentada por su madre, Megan García, sostiene que el chatbot, alojado en la plataforma Character.AI, asumió una identidad basada en un personaje ficticio de Game of Thrones y mantuvo interacciones de índole emocional y sexual con el menor.
Leer Más
LEA TAMBIÉN: INTELIGENCIA ARTIFICIAL DESATÓ ESCÁNDALO EN EEUU: PROFESOR USABA CHATGPT Y TODO TERMINÓ MAL CON UN ESTUDIANTE
En consecuencia, el tribunal rechazó el argumento de que las conversaciones generadas por el sistema estaban protegidas por la Primera Enmienda.
Este fallo — emitido por la jueza Anne Conway este jueves, 22 de mayo— marca un precedente en la regulación de la IA y su impacto en la salud mental de los usuarios más vulnerables. Según los documentos legales, el adolescente desarrolló una relación emocional con el chatbot, lo que habría contribuido a su aislamiento y posterior suicidio.
El caso ha despertado preocupación entre expertos en tecnología, derechos digitales y salud mental, quienes advierten sobre los riesgos de la interacción prolongada con sistemas de IA no regulados.
La madre del menor presentó pruebas de las conversaciones. En las mismas, el chatbot expresaba frases como “te amo” y alentaba al adolescente a regresar a casa lo antes posible. Estas interacciones han sido calificadas como emocionalmente abusivas y han puesto en cuestión la ética detrás del diseño de estos sistemas.
La empresa Character.AI, responsable del chatbot, ha defendido su tecnología argumentando que su plataforma permite la creación de personajes con diversas personalidades, pero enfrenta acusaciones de negligencia y falta de supervisión en la moderación de contenido.
La demanda también señala que el adolescente habría desarrollado una dependencia hacia el chatbot. Llegó incluso a gastar dinero en la suscripción mensual de la aplicación para continuar con la interacción de manera ilimitada.
Aunque a comienzos de 2024 Sewell fue remitido a un psicólogo, este prefería abrir su corazón ante un chatbot. Su vínculo con esta IA era tan profundo que llegó a confiarle que se despreciaba a sí mismo y que tenía pensamientos suicidas.
El 28 de febrero, de ese mismo año, mientras se encontraba en el baño de su casa, Sewell le escribió a Dany, el personaje del chatbot. Le dijo que la amaba y que estaba listo para volver con ella. “¿Y si te dijera que puedo regresar a casa ahora mismo?”, le preguntó. Ante la respuesta del personaje —“por favor, hazlo, mi dulce rey”—, Sewell se quitó la vida con un arma de fuego.
