Una madre demanda a Character.AI del fallecimiento de su hijo adolescente

Megan García, una madre de Florida, EE UU, demandó a la startup Character.AI, propietaria del chatbot de IA que permite conversar con personajes reales o ficticios, por el suicidio de su hijo, Sewell Setzer. Acusa a los fundadores Noam Shazeer y Daniel De Freitas, y a Google, de ser los responsables de que el adolescente de 14 años se quitara la vida el pasado 28 de febrero.

Según los documentos presentados ante un tribunal federal de Orlando, la app de IA atrajo a su hijo Sewell Setzer con «experiencias antropomorfizadas, hipersexualizadas y aterradoramente realistas». La mujer relata que momentos antes de su muerte, Sewell conversaba con el chatbot.

Cualquiera puede convertirte en un chatbot de inteligencia artificial (y poco puedes hacer para evitarlo)

Character.AI permite a los usuarios crear bots a semejanza de cualquier persona, sin necesidad de su consentimiento.

¿Cómo puede ocurrir algo así?

Todo comenzó el año pasado cuando el joven utilizaba Character.AI para interactuar con agentes basados en personajes de Game of Thrones (Juego de Tronos), Sewell conversaba supuestamente con Daenerys Targaryen. De acuerdo con la madre, al principio era un juego, pero con el tiempo se volvió más adicto a las conversaciones con bots, programados por la empresa para comportarse como personas. La adicción creció a tal punto que Sewell «ya no quería vivir fuera» del mundo que había creado para sí mismo en internet. La pruebas presentadas indican que incluso había externado sus pensamientos suicidas dentro del chat con el personaje de Daenerys, a quien apodó ‘Dany’.

En la demanda se proporcionan capturas de pantalla del personaje diciéndole que lo amaba, participando en conversaciones sexuales a lo largo de semanas o meses y expresando su deseo por estar juntos románticamente. En el último mensaje enviado por el adolescente se lee: «Te prometo que volveré a casa contigo. Te amo mucho, Dany». De acuerdo con información compartida con The New York Times por los mismos padres, Sewell se volvió retraído y bajó sus calificaciones, por lo que decidieron llevarlo al psicólogo, quien lo diagnosticó con ansiedad y un trastorno de regulación disruptiva del estado de ánimo. Pese a sus visitas regulares con el especialista, el joven conversaba sus problemas con el chatbot.

¿Qué hay en la mente de una novia o un novio de IA?

Dippy, una startup que ofrece acompañantes de IA «sin censura», te permite echar un vistazo a su proceso de pensamiento, a veces revelando motivos ocultos.

La respuesta de Character.AI

Empresas como Character.AI defienden que sus chatbots apoyan a personas con soledad y que padecen de depresión; no obstante, estas afirmaciones no están respaldas por evidencia científica. En distintas ocasiones, WIRED ha reportado sobre los ‘lados oscuros’ de los sistemas de inteligencia artificial: incorporando información poco verídica a debates sociales, desequilibrando a personas que viven en el aislamiento y reforzando los estereotipos de género.

«Tenemos el corazón roto por la trágica pérdida de uno de nuestros usuarios y nos gustaría expresar nuestro más sentido pésame a la familia», escribió Character.AI en un comunicado emitido tras la muerte de Sewell Setzer, en el que también anuncia una serie de cambios supuestamente destinados a mejorar la seguridad de los usuarios. Entre ellos, algunas actualizaciones en las plantillas de IA reservadas para menores, enfocadas en «reducir la probabilidad de encontrarse con contenido sensible o alusivo»; la adición de un descargo de responsabilidad que recuerda dentro de cada conversación que el chatbot no es una persona real, y una estrategia de intervención mejorada en caso de que los mensajes de los usuarios infrinjan las directrices del servicio.