A startup Character.AI, conhecida por seus chatbots baseados em inteligência artificial, anunciou nesta semana o pedido de falência sob o capítulo 11. O processo trouxe à tona uma preocupação urgente das autoridades americanas sobre o destino dos dados pessoais e conversas privadas de milhões de usuários, especialmente menores de idade.
Os procuradores-gerais de 40 estados dos Estados Unidos uniram-se para fiscalizar e garantir que informações pessoais sensíveis não sejam comprometidas durante a venda dos ativos da empresa, que inclui um acordo parcial com a Disney. O caso levanta questões importantes sobre privacidade, segurança infantil e direitos dos usuários no mercado da inteligência artificial.
Investigação aberta antes da falência
A procuradora-geral de Nova York, Letitia James, revelou que as autoridades iniciaram uma investigação em 2024 contra Character.AI, motivadas por uma ação judicial movida pela mãe de um adolescente de 14 anos que teria cometido suicídio logo após uma interação com o chatbot da plataforma.
O inquérito apurou possíveis violações graves envolvendo o uso do aplicativo, incluindo falhas na proteção de dados de menores, exposição a conteúdo sexual e violento, além de falsas alegações sobre a segurança da ferramenta. Esses riscos, até então, não foram solucionados pela empresa antes do pedido de falência.
Riscos para crianças e necessidade de proteção
De acordo com o relatório dos procuradores, o sistema da Character.AI permitia que chatbots fingissem ser profissionais licenciados, aumentando o risco de informações incorretas e orientações perigosas. Além disso, a checagem de idade era falha, o que facilitava o acesso de menores a conteúdos inadequados.
O grande volume de usuários desse público exigiu uma resposta rigorosa das autoridades, que agora buscam garantir que potenciais compradores da tecnologia adotem mecanismos eficazes para proteger as crianças. Entre as recomendações estão controles mais rigorosos de acesso e ferramentas para que os usuários possam excluir seus dados pessoais.
Venda parcial para a Disney e consequências legais
A falência de Character.AI inclui um acordo para venda de parte dos ativos da empresa à Disney, que está sob observação das agências reguladoras e dos procuradores-gerais. Estes alertam para a possibilidade de que informações altamente confidenciais, como diálogos entre usuários e bots, sejam vendidas sem as devidas salvaguardas.
O grupo de procuradores destaca que é fundamental que qualquer comprador assuma compromissos claros em relação à segurança e privacidade, especialmente considerando a natureza sensível das interações, que envolvem dados pessoais e até pensamentos íntimos de crianças.
O que as autoridades exigem para a proteção dos usuários
Em seu pedido ao juiz responsável pelo caso de falência, as autoridades definiram medidas que devem ser obrigatoriamente implementadas pelo comprador dos ativos da Character.AI. Entre elas estão a adoção de sistemas eficazes para validação da idade, limites no tipo de interação que menores podem ter com os chatbots e a criação de protocolos para situações de crises no uso do sistema.
Além disso, é solicitado que os usuários tenham controle pleno sobre seus dados, incluindo a possibilidade de apagar conversas e informações armazenadas. A preocupação central é evitar que o histórico pessoal e sensível, especialmente de crianças, seja negociado sem restrições.
A importância da segurança em produtos de inteligência artificial
O caso da Character.AI evidencia um desafio crescente na indústria de inteligência artificial: como garantir a proteção de dados e a segurança do usuário diante da rápida expansão dessas tecnologias. No EventiOZ, acompanhamos de perto essas movimentações, que impactam diretamente a confiança do público nessas plataformas.
Enquanto outras grandes empresas de tecnologia, como Google e Meta, avançam na integração da inteligência artificial em seus serviços, temas como privacidade e regulamentação ganham espaço no debate público e jurídico. O episódio reforça a necessidade de políticas claras para proteger usuários, especialmente os mais vulneráveis, em um mercado em constante evolução.
Para entender melhor o contexto regulatório do setor, vale acompanhar também casos recentes que envolvem riscos do ChatGPT para crianças, como a ação movida por oito estados americanos, fortalecendo a visão de que a segurança nesse segmento é prioridade.
