Ferramenta da xAI é alvo de questionamentos por geração de imagens sexualizadas não consentidas
O Departamento de Justiça da California abriu uma investigação formal sobre o uso da ferramenta de inteligência artificial Grok, desenvolvida pela xAI e integrada à plataforma X (ex-Twitter), após a identificação de usos recorrentes da tecnologia para a criação e manipulação de imagens sexualizadas não consentidas envolvendo mulheres e crianças. A apuração é conduzida pelo procurador-geral da Califórnia, Rob Bonta.
Segundo o comunicado oficial do órgão, há indícios de que o Grok foi utilizado para “despir” imagens de pessoas reais e gerar deepfakes de caráter sexual, em alguns casos envolvendo menores de idade, sem mecanismos eficazes de prevenção ou bloqueio. A investigação busca apurar se a empresa violou leis estaduais relacionadas à proteção de menores, privacidade, segurança do consumidor e práticas digitais abusivas.
A repercussão do caso ultrapassou os Estados Unidos. Autoridades de países como Indonésia e Malásia já restringiram ou bloquearam o acesso à ferramenta, enquanto órgãos reguladores no Reino Unido, França, Índia e na União Europeia abriram investigações ou exigiram a remoção de conteúdos considerados ilegais.
Em resposta, a X e a xAI anunciaram ajustes na ferramenta, incluindo o bloqueio da geração e edição de imagens sexualizadas de pessoas reais em determinadas jurisdições e a aplicação de filtros adicionais. Ainda assim, autoridades e entidades civis questionam a eficácia dessas medidas, avaliando que as salvaguardas foram insuficientes para evitar abusos em larga escala.
O empresário Elon Musk, controlador da xAI e da plataforma X, afirmou publicamente que não tinha conhecimento prévio da circulação de imagens explícitas envolvendo menores geradas pelo Grok e declarou que a ferramenta responde apenas a comandos dos usuários.
I not aware of any naked underage images generated by Grok. Literally zero.
— Elon Musk (@elonmusk) January 14, 2026
Obviously, Grok does not spontaneously generate images, it does so only according to user requests.
When asked to generate images, it will refuse to produce anything illegal, as the operating principle… https://t.co/YBoqo7ZmEj
Em tradução livre: “Não tenho conhecimento de nenhuma imagem de menores nus gerada pelo Grok. Literalmente nenhuma.
Obviamente, o Grok não gera imagens de forma espontânea, ele o faz a partir de solicitações dos usuários.
Quando solicitado a gerar imagens, ele se recusa a produzir qualquer coisa ilegal, como o seu princípio de funcionamento...”
Brasil se junta à países com medidas contra a ferramenta
O Instituto de Defesa do Consumidor (Idec) encaminhou um ofício ao Comitê Intersetorial para a Proteção dos Direitos da Criança e do Adolescente no Ambiente Digital solicitando a suspensão da operação do Grok no país. Segundo o instituto, há evidências de uso da ferramenta para gerar, editar e disseminar imagens sexualizadas não consentidas, inclusive deepfakes envolvendo menores, sem salvaguardas mínimas de segurança, consentimento ou prevenção de abusos.
O Idec classifica o caso como um defeito grave na prestação do serviço, nos termos do Código de Defesa do Consumidor, e aponta possíveis violações à Lei Geral de Proteção de Dados (LGPD), ao Marco Civil da Internet, ao Estatuto da Criança e do Adolescente (ECA) e ao ECA Digital. Para a entidade, a interrupção temporária do funcionamento da ferramenta seria uma exigência jurídica e ética diante dos riscos identificados.
Imagem do topo: Salvador Rios/Unsplash
