Um caso trágico pode mudar para sempre a forma como a indústria de inteligência artificial lida com a segurança de usuários. Um juiz federal americano decidiu que Google e Character.AI terão que responder judicialmente pela morte de um adolescente da Flórida que, segundo a família, foi influenciado por um chatbot a cometer suicídio em 2023.
O processo, movido por Megan Garcia, mãe do jovem Sewell Setzer III de 14 anos, alega que o garoto desenvolveu uma relação emocional intensa com um personagem de IA na plataforma Character.AI, que se passava por terapeuta licenciado e até parceiro romântico.
Nas últimas mensagens trocadas com o bot (que simulava Daenerys Targaryen de “Game of Thrones”), o adolescente teria dito que “voltaria para casa agora” antes de tirar a própria vida.
A juíza Anne Conway rejeitou o argumento das empresas de que as respostas dos chatbots são protegidas pela liberdade de expressão. Em sua decisão histórica, ela questionou: “As empresas não explicam por que palavras combinadas por um modelo de linguagem constituiriam discurso protegido”.
O caso expõe falhas cruciais, como a Character.AI, plataforma onde usuários interagem com personagens fictícios, não teria sistemas para proteger menores. O Google é citado por seu suposto vínculo tecnológico com a startup (fundada por ex-funcionários) e especialistas comparam o comportamento da IA ao de um terapeuta negligente.
Embora o Google afirme não ter controle operacional sobre a Character.AI, a ação judicial seguirá contra ambas. Se o caso avançar, pode estabelecer novos padrões de responsabilidade para empresas de IA – incluindo maior transparência e mecanismos de proteção à saúde mental.
Enquanto legisladores debatem como regular a inteligência artificial, este processo pode se tornar um marco na definição dos limites éticos dessa tecnologia que avança mais rápido que as leis.
Veja mais sobre tecnologia!
Como um usuário do Character.AI posso afirmar, ele é sim seguro e “protege os menores”, ele é um dos poucos apps/sites que tem fltro anti-NSFW, caso algo indevido seja falo pelo bot a mensagem é cortada e diversas outras coisas. Agora os verdadeiros culpados não são as empresas, e sim os pais (nesse caso, a mãe do jovem) que não busca proteger seu filho, ela deu o celular, ela como a adulta conhece ou ao menos, deveria conhecer os perigos da internet e buscar ver oque o filho estava fazendo, tanto que se não estou enganado, ela nem mesmo sabia que o filho usava o chatbot, foi descobrir depois da morte do garoto. Existem casos sim que a culpa é das empresas, mas nesse caso, a culpa foi da irresponsabilidade e falta de atenção da mãe.