A Justiça de São Paulo determinou que a plataforma X (antigo Twitter) exclua um vídeo falso feito com inteligência artificial que utiliza a imagem da cantora Gretchen e revele os dados do responsável pela publicação. A decisão foi emitida no início de junho e atende a um pedido da artista, que alegou ter sua imagem indevidamente usada em um deepfake que a relacionava a um suposto evento de cunho sexual.

O vídeo, divulgado em 2024, também fazia referência à campanha política de Gretchen na cidade de Itamaracá (PE), nos anos 2010. O material gerou indignação por se tratar de conteúdo falso com potencial de danos à reputação da artista. O tribunal determinou que o X mantenha o conteúdo fora do ar e forneça o endereço de IP do usuário que publicou o material, o que pode auxiliar na identificação do autor.

Durante o processo, a defesa do X argumentou com base no artigo 19 do Marco Civil da Internet, que limita a responsabilidade das plataformas por conteúdos de terceiros. No entanto, como a Justiça já havia ordenado a remoção prévia do vídeo, a rede social não foi penalizada. A discussão sobre esse mesmo artigo está atualmente em julgamento no Supremo Tribunal Federal (STF), que pode alterar seu entendimento.

A juíza Camila Rodrigues Borges de Azevedo, da 19ª Vara Cível, ressaltou que a remoção foi devidamente cumprida, mas determinou também a identificação do responsável pela publicação. O caso reforça o debate sobre o uso de inteligência artificial para produzir conteúdo enganoso e a necessidade de regulamentação das redes sociais frente a práticas de desinformação e violação de imagem.