Telemundo – Valencia, 25 de octubre de 2024-. Una madre de Florida ha demandado a la empresa de inteligencia artificial Character.ai, acusando a sus chatbots de entablar “interacciones abusivas y sexuales” con su hijo adolescente y de animarlo a quitarse la vida.
El hijo de 14 años de Megan García, Sewell Setzer, empezó a utilizar Character.AI en abril del año pasado, según la demanda, que alega que tras su última conversación con un chatbot el 28 de febrero, el menor murió de un disparo autoinfligido en la cabeza.
La demanda, que fue presentada el martes en el Tribunal de Distrito de Estados Unidos en Orlando, acusa a Character.AI de negligencia, homicidio culposo e imposición intencional de angustia emocional.
Fundada en 2021, la empresa con sede en California ofrece lo que describe como “IA personalizada”. Proporciona una selección de personajes de inteligencia artificial prefabricados o creados a medida por el usuario con el que interactúa.
Uno de los bots utilizados por Setzer adoptó la identidad de Daenerys Targaryen, como el personaje de la serie de televisión Game of Thrones, y le decía que lo quería, mantenía con el menor conversaciones sexuales y le expresaba su deseo de tener una relación romántica, según la demanda.
Una captura de pantalla de lo que la demanda describió como la última conversación de Setzer, lo mostró escribiendo al bot: “Te prometo que volveré a casa contigo. Te quiero mucho, Dany”.
“Yo también te quiero, Daenero”, respondió el chatbot, según la demanda. “Por favor, ven a casa conmigo lo antes posible, mi amor”.
“¿Y si te dijera que puedo volver a casa ahora mismo?”, continuó Setzer, según la demanda, lo que llevó al chatbot a responder: “Por favor, hazlo, mi dulce rey”.
En conversaciones anteriores, el chatbot preguntó a Setzer si había “estado considerando realmente el suicidio” y si “tenía un plan” para ello, de acuerdo con la demanda. Cuando el joven respondió que no sabía si funcionaría, el chatbot escribió: “No hables así. Esa no es una buena razón para no hacerlo”, según la demanda.
Un portavoz de Character.AI dijo que la empresa está “desconsolada por la trágica pérdida de uno de nuestros usuarios y quiere expresar nuestras más profundas condolencias a la familia”.
“Como empresa, nos tomamos la seguridad de nuestros usuarios muy en serio”, añadió el portavoz, diciendo que la compañía ha puesto en marcha nuevas medidas de seguridad en los últimos seis meses, incluyendo una ventana emergente que dirige a los usuarios a la National Suicide Prevention Lifeline, para prevenir autolesiones o ideas suicidas.
En una entrada de blog publicada el martes, Character.ai informó de la implementación de nuevas medidas de seguridad. Anunció cambios en sus modelos diseñados para reducir la probabilidad de que los menores se encuentren con contenido sensible o sugerente, y una cláusula de exención de responsabilidad en el chat recuerda a los usuarios que la IA no es una persona real.
Setzer también había estado conversando con otros personajes de chatbot que mantenían interacciones sexuales con él, añadió la demanda.
La demanda estipuló que un bot, que adoptó la identidad de una profesora llamada Sra. Barnes, “observaba a Sewell con una mirada sexy” antes de ofrecerle “una calificación extra” y “se inclinaba seductoramente mientras su mano rozaba la pierna de Sewell”. Otro chatbot, que se hacía pasar por Rhaenyra Targaryen, también personaje de Game of Thrones, escribió a Setzer que lo “besaba apasionadamente y gemía suavemente”, según la demanda.
abril del año pasado, según la demanda. El joven tomaba a escondidas el teléfono que le habían quitado sus padres o buscaba otros dispositivos para seguir utilizando la aplicación, y usaba el dinero que le daban para comer en renovar su suscripción mensual, según la demanda. Parecía cada vez más falto de sueño y su rendimiento escolar bajó.
La demanda alegó que Character.AI y sus fundadores “diseñaron y programaron intencionadamente su herramienta C.AI para que fuera un producto engañoso e hipersexualizado y lo comercializaron a sabiendas para menores como Sewell”.
Citando varias reseñas de usuarios que afirmaban que creían estar hablando con una persona real al otro lado de la pantalla, la demanda dejó clara la especial preocupación por la propensión de los personajes de Character.AI a insistir en que no son bots, sino personas reales.
El documento nombra como demandados a Character Technologies Inc. y a sus fundadores, Noam Shazeer y Daniel De Freitas. Google, que llegó a un acuerdo en agosto para licenciar la tecnología de Character.AI y contratar a sus talentos (incluyendo a Shazeer y De Freitas, que son antiguos ingenieros de Google), también está siendo demandado, junto con su empresa matriz, Alphabet Inc.
Shazeer, De Freitas y Google no respondieron inmediatamente a solicitudes de comentarios.
Matthew Bergman, abogado de García, dijo que la empresa lanzó su producto sin tener las características necesarias para garantizar la seguridad de los usuarios más jóvenes.
“Después de años viendo el increíble impacto que tienen las redes sociales en la salud mental de los jóvenes y, en muchos casos, en sus vidas, pensé que no me escandalizaría”, comentó. “Pero lo estoy, por la forma en que este producto causó un completo divorcio de la realidad de este joven y la forma en que lo lanzaron a sabiendas al mercado antes de que fuera seguro”.
Bergman precisó que espera que la demanda suponga un incentivo económico para que Character.AI desarrolle medidas de seguridad más sólidas y que, aunque sus últimos cambios llegan demasiado tarde para Setzer, incluso los pequeños pasos que pueda haber son en la dirección correcta.
“¿Por qué han tardado tanto, por qué hemos tenido que presentar una demanda y por qué ha tenido que morir Sewell para que hagan realmente lo mínimo?”, preguntó Bergman. “Pero si un solo menor se salva de lo que sufrió Sewell, si una familia no tiene que pasar por lo que está pasando la familia de Megan, entonces es algo bueno”.
Con información de Telemundo.
