A popularização de ferramentas de inteligência artificial generativa tem intensificado o impacto de ameaças online, tornando-as mais realistas e perturbadoras. Segundo reportagem do The New York Times, o uso de imagens e áudios sintéticos tem ampliado a violência simbólica direcionada a ativistas, mulheres e outras figuras públicas nas redes sociais.
Caitlin Roper, integrante do grupo australiano Collective Shout, foi uma das vítimas dessa nova modalidade de ataque. Ela recebeu imagens geradas por IA que a retratavam sendo enforcada ou em chamas, em algumas delas, usava um vestido que realmente possui, o que acentuou a sensação de invasão. “Esses detalhes tornam tudo mais real”, afirmou Roper ao jornal.
A tecnologia já é usada para criar vídeos e áudios com alto grau de fidelidade, mesmo a partir de apenas uma imagem ou poucos segundos de voz. Isso amplia o acesso a ferramentas capazes de produzir conteúdos falsos, inclusive para usuários sem conhecimentos técnicos.
Segundo Hany Farid, professor da Universidade da Califórnia em Berkeley, essas capacidades eram esperadas. “Sempre que uma tecnologia assim surge, ela é usada tanto para fins criativos quanto para abusos”, disse ao NYT.
Casos recentes mostram o crescimento desse problema. Um canal hospedado na plataforma de vídeos chegou a exibir mais de 40 produções que mostravam mulheres sendo assassinadas por armas de fogo. As imagens, segundo especialistas, foram provavelmente geradas por inteligência artificial, com alto grau de realismo visual. O conteúdo só foi removido após o veículo alertar a plataforma, que citou “múltiplas violações das diretrizes” para justificar a exclusão.
Em outro episódio, ocorrido no primeiro semestre do ano, um vídeo manipulado, que mostrava um estudante portando uma arma dentro de uma escola, levou uma instituição de ensino nos Estados Unidos a decretar lockdown imediato. O conteúdo, posteriormente identificado como falso e gerado digitalmente, provocou mobilização policial e expôs a vulnerabilidade das escolas diante de ameaças hiper-realistas criadas com IA.
Em Minneapolis, em julho, um advogado relatou que o chatbot Grok, da empresa xAI, teria sido utilizado para gerar instruções detalhadas com objetivo de facilitar um crime violento: invasão de domicílio, agressão sexual e ocultação de cadáver. O incidente levanta preocupações sobre a capacidade das plataformas em conter o uso malicioso de suas tecnologias.
Desafios para moderação e segurança
A disseminação de conteúdos falsos violentos, muitos dos quais criados com ferramentas como Sora (da OpenAI), desafia os mecanismos de moderação das plataformas. A própria OpenAI afirma utilizar barreiras automatizadas para evitar abusos, mas especialistas como Alice Marwick, do centro Data & Society, questionam a eficácia desses sistemas, que seriam “como um guarda de trânsito preguiçoso”.
Redes sociais como X (ex-Twitter) também estão sendo criticadas por sua atuação. Roper, por exemplo, teve sua conta temporariamente suspensa após publicar imagens das ameaças recebidas, mesmo após relatar os abusos. Algumas postagens que a retratavam sendo morta continuaram ativas, apesar das denúncias.
Além das ameaças diretas, a IA tem sido usada em práticas como o swatting, trotes que mobilizam emergências policiais com informações falsas. A Associação Nacional de Procuradores Gerais dos EUA alertou que a IA aumentou a precisão e o anonimato dessas ações. Em um caso, um alerta falso de tiroteio, acompanhado de sons digitais de tiros, levou à mobilização de agentes federais em uma escola no estado de Washington.
Brian Asmus, ex-chefe de polícia e atual responsável por segurança em um distrito escolar, destacou o desafio: “Como responder a algo que não é real?”, questionou ao New York Times.
