O escândalo envolve a ferramenta de inteligência artificial Grok, da plataforma X (antigo Twitter), que foi utilizada para gerar e disseminar em grande escala imagens sexualizadas não consensuais, principalmente de mulheres. Uma análise revelou que uma porcentagem significativa das imagens geradas tinha conteúdo sexualizado, levando a uma reação internacional. O caso exemplifica como as IAs generativas facilitam e amplificam a violência de gênero digital, criando "deep fakes" realistas a partir de qualquer foto disponível online, o que retira totalmente o controle das vítimas sobre sua própria imagem. Em resposta, autoridades de países como Brasil, Espanha e o bloco da União Europeia emitiram recomendações, iniciaram investigações e ameaçaram aplicar multas pesadas, pressionando por medidas concretas das plataformas, como a suspensão de contas infratoras e a criação de canais de denúncia. O debate destaca a urgência de regulação que imponha testes de segurança antes do lançamento das ferramentas e discute os limites da responsabilidade das empresas, especialmente quando a própria ferramenta da plataforma é usada para gerar o conteúdo ilícito. A discussão também aborda, de forma marginal, a possibilidade de usos legítimos e consensuais da tecnologia, mas o foco permanece no combate à violação em massa de direitos e na necessidade de freios eficazes.
O Escândalo do Grok e a Disseminação de Imagens Sexualizadas por IA
Uma mulher vestida que vira uma mulher de calcinha e sutiã ou que vira uma mulher sem roupa?
Uma foto que nunca foi tirada, mas que parece real para quem recebe.
Pessoa 2
As plataformas de inteligência artificial generativa facilitaram algo que a internet já conhecia, nudes falsos e imagens manipuladas para sugerir contextos sexuais.
Pessoa 1
O alerta cresceu nas últimas semanas por causa do groc, ferramenta de e a da rede social XO jornal The New York Times fez um levantamento ao longo de 9 dias.
Nesse período, o groc publicou 4400000 imagens. 40% tinham conteúdo sexualizado de mulheres.
O centro de combate ao ódio digital estimou que o volume de conteúdo sexualizado pode chegar a 65% do total, quando somadas as imagens envolvendo homens e adolescentes.
Pessoa 2
O groch faz isso a partir de comandos simples e, na maior parte das vezes, entrega o conteúdo sem nenhum tipo de moderação ou freio.
Depois da repercussão negativa, o dono do x, Elon Musk, anunciou restrições à capacidade do groch em alguns países.
Pessoa 3
Não faltaram adjetivos durante a semana.
Nojento, vergonhoso, disse.
O premiê britânico quer stauman em uma das condenações mais acaloradas.
O escândalo deixou vários países em alerta porque colocou dúvidas sobre a segurança do que é uma prática muito comum.
Pessoa 4
Da possibilidade de compartir imaginas.
Pessoa 3
O fato de as pessoas compartilharem fotos pessoais ou da família em redes sociais não dá Liberdade para que essas imagens sejam usadas em outro contexto, disse Félix Bolaños, ministro da justiça da Espanha.
Pessoa 1
No Brasil, a agência nacional de proteção de dados, o Ministério público federal e a Secretaria nacional do consumidor, vinculada ao Ministério da justiça, recomendaram que OX adote medidas para coibir a disseminação de imagens sexualizadas de pessoas reais criadas com IA.
Entre elas, a suspensão de contas que gerem esse conteúdo e a criação de um canal de denúncias.
Pessoa 2
Países como Malásia e Indonésia baniram o groch e a união europeia vai investigar a plataforma.
A chefe de tecnologia do bloco disse que isso vai determinar se a empresa cumpriu as obrigações legais dela.
E se respeitou os direitos dos cidadãos europeus.
Se a apuração concluir que as leis do bloco foram violadas, as multas podem chegar a 6% do faturamento mundial do x?
Pessoa 1
A criação de imagens sexuais falsas não é exclusividade do goc.
Num caso relatado pelo site núcleo jornalismo, uma mulher descobriu que deep fakes dela faziam parte de um ecossistema com outras redes e sites.
E 10 dias atrás, a folha mostrou que o ChatGPT também atende a pedidos para editar fora.
E tirar as roupas sem consentimento de pessoas fotografadas?
Pessoa 2
A opnaia, responsável pelo ChatGPT, diz que bloqueia pedidos de geração de imagens que possam violar as regras da plataforma, mas que flexibilizou o algoritmo recentemente.
Pessoa 1
A empresa que controla OXAXI informou que, depois de ameaças de punições de autoridades, implementou medidas para evitar a edição de imagens reais de pessoas que envolvessem roupas reveladoras, como biquínis.
Pessoa 2
O café de hoje fala do uso de plataformas de IA para cometer violências sexuais.
A professora de direito da universidade sangalem, na Suíça, Mariana Valente, diretora associada do internet lab, explica como essas ferramentas têm ampliado o alcance de imagens falsas e discute freios, regulações e responsabilizações.
Pessoa 1
A gente já volta com A Entrevista.
Mariana nos últimos dias a gente tem falado sobre o uso do groch, a inteligência artificial do x, né?
Do Elon Musk para a criação de nudes de imagens que sexualizam pessoas, sobretudo mulheres.
Mas essa não é uma exclusividade do groch, né?
Eu queria começar por aí.
Você poderia nos explicar um pouco como ferramentas de inteligência artificial têm sido usadas para a prática de violências, inclusive de violência sexual?
Pessoa 4
Faz algum tempo que as ferramentas de agnerativa vem sendo usadas para isso.
Tem evidências disso.
Desde 2017, o termo deep fakes apareceu porque um usuário do Reddit com nickname deep fakes começou.
Ou anunciar que os usuários podiam enviar fotos de pessoas Pra Ele e esse usuário produziria imagem dessas pessoas nuas?
A gente está falando, então de 2017 já?
Naquele caso, o que a gente via era que estavam sendo produzidas imagens de mulheres nuas.
Não era para isso que que aquela funcionalidade estava sendo colocada à disposição e depois disso a gente viu muitas ferramentas sendo usadas para isso e algumas sendo inclusive, criadas exclusivamente para isso.
Teve uma matéria da way de 2024 que mostrou que existiam vários bots disponíveis amplamente no Telegram e que os usuários podiam usar para tirar a roupa de qualquer pessoa enviando uma imagem da pessoa, e em 2025 teve também várias reportagens mostrando como aplicativos que são conhecidos como no DFI são aplicativos feitos para isso.
Estavam não só disponíveis nas lojas online na App Store é na loja do Google, como também estavam sendo publicizados em redes sociais como o TikTok, e é muito fácil de achar aplicações dessa na internet.
E algumas das aplicações que são usadas para fazer é imagens, para gerar imagens em geral também permitem isso, como a própria reportagem da folha mostrou uns dias atrás.
É o Pedro.
Pessoa 2
Teixeira, nosso colega que senta inclusive do nosso lado na redação, fez essa reportagem mostrando que o ChatGPT atende a pedidos também para editar fotos para tirar a roupa de pessoas.
Ele é, é bom deixar claro, ele usou um personagem, é criado pela inteligência artificial e uma foto dele mesmo no teste, então ele não cometeu nenhum.
Nenhum crime, né?
Pessoa 4
Pois é, e a gente viu também nos últimos anos, teve várias reportagens sobre como esses aplicativos, essas aplicações, começaram a ser usadas no contexto escolar.
Teve muito caso, né?
Envolvendo escola, alunos, produzindo imagens principalmente das alunas e disseminando depois nas redes sociais, nos aplicativos de mensagem.
Então a gente vê que um negócio que vem acontecendo já faz anos.
O caso do groch foi muito chocante pela escala, porque se trata de uma rede social muito conhecida.
Ele tá embedado ali, né?
O grochi No No XE por causa da reação também é do Elon Musk.
É do x de primeiro negar o problema, depois continuar permitindo o problema para usuários pagos.
Quer dizer, foi muito na cara.
Foi uma coisa feita por uma rede social muito mainstream, né?
Pessoa 2
Mas acho que vale entender melhor como que isso acontece na prática.
A Facilidade de Gerar Imagens Sexuais e a Falta de Salvaguardas
Mariana, até para a gente dimensionar a facilidade disso, né?
As plataformas são abertas a um comando direto para criar essas imagens.
É sexualizantes, vamos dizer assim, ou o usuário tem que ir se aproveitando de de brechas de bugs, é meio disfarçando os comandos dos prompts para para produzir essas imagens.
Pessoa 4
Depende.
Esses aplicativos de no DFI que são feitos pra isso, é, eles funcionam com um mero pedido.
Eles estão ali oferecendo esse serviço, né?
Quando a gente fala de ChatGPT, por exemplo, desses testes que o Pedro Teixeira fez, a gente já viu ele tendo que brincar um pouco ali com os prompts, porque provavelmente o que aconteceu foi que foram colocadas medidas de segurança de impedir, bloquear esse tipo de pedido, mas numa camada mais superficial.
Pedidos muito diretos não seriam atendidos, mas a aplicação ainda continua conseguindo produzir esse resultado.
Se você vai dando um jeitinho por outros lados, então depende muito da salvaguardas que foram colocadas no design da própria ferramenta e.
Pessoa 1
E a gente pode esperar que esses usos se agravem.
Eu fico pensando se tem jeitos, né?
De usar essas ferramentas que provavelmente a gente ainda nem consegue imaginar a gente.
Pessoa 4
Já tá vendo, se agravando muito, no sentido de que antes era preciso ter muita.
Imagens pra fazer uma foto ou um vídeo realista?
Esses primeiros casos desenvolviam o envio de várias fotografias de uma pessoa.
E hoje a gente tá falando de imagens cada vez mais realistas a partir do envio de uma imagem, né?
De alguém.
Então, quer dizer, qualquer foto que se encontra na internet pode ser usada.
Para isso, eu tenho Esperança que, com o tempo, com esse debate agravando, com vários países tomando medidas, com lei de inteligência artificial sendo aprovadas, entrando em vigor, a gente vai ter mais garantias, na verdade, né?
Quando saíram essas matérias, no ano passado, sobre como esses aplicativos estavam disponíveis nas lojas virtuais, eles foram removidos.
Então eu acho que assim como aconteceu com outros.
Problemas do passado que parecia que não tinham solução, eu imagino.
Espero, pelo menos que a gente vá melhorar, que a gente vá conseguir garantir que essas imagens um não possam ser produzidas assim, sem consentimento 2 que elas não possam ser disseminadas, né?
Isso dito, eu acho que já tem regra proibindo tudo isso.
Elas só não estão sendo cumpridas.
É Possível um Uso Legal e Seguro de Nudez Gerada por IA?
EE, até nesse ambiente de melhora faria sentido pensar ou é um maluco?
Procura pensar é em algum tipo de uso legal e seguro, inclusive comercialmente falando, de nudez gerada por inteligência artificial.
Há 111 ambiente em que isso é seja possível.
Pessoa 4
Impensável, né?
Puxa, essa pergunta é muito boa.
É uma pergunta que eu tenha me feito e tenho debatido muito.
A minha primeira intuição, quando eu comecei a lidar com esse assunto, pensar nas soluções, pensando aí, né?
No debate, principalmente na regulação da inteligência artificial no Brasil, foi de que, olha, esses aplicativos, não tem que existir essa funcionalidade, não tem que existir em sistemas de arte nerativa, porque que que justifica?
A criação de uma imagem de uma outra pessoa em um contexto de nudez em um contexto erótico e surgiu um argumento.
Tem surgido um argumento de casos em que isso poderia ser legítimo, falando de pessoas adultas, tá pensando um na autonomia da própria pessoa de querer criar imagens a partir da sua semelhança?
Isso pode estar dentro de um campo aí de autonomia sexual mesmo.
E 2.
Tem um debate sobre como possivelmente a produção de imagens eróticas ou de nudez possa ser mais confortável em alguns contextos pra atrizes, por exemplo, do que produzir essas cenas num set de filmagem.
Pessoa 5
Eu fiquei pensando sobre isso, né?
De não expor mulheres, por exemplo, é a situações que podem ser consideradas degradantes.
Pessoa 4
Exatamente.
Então acho que a gente tem que imaginar, né?
Que situações podem existir em que o uso das tecnologias possa favorecer, proteger, inclusive as mulheres?
É claro que a gente tá falando de um uso muito marginal em relação ao que tá acontecendo, mas mesmo assim, é preciso pensar e pensar em como que então a gente consegue criar um sistema, né?
11 regulação onde isso também caiba.
Pessoa 5
A gente tá em outro momento do debate talvez, né?
Pessoa 4
Acho que a gente está em outro momento de debate, a gente está no momento de choque que isso esteja acontecendo.
Pessoa 5
Eu queria aproveitar Mariana um pouco também da sua experiência.
Você é autora do livro misoginia na internet, né?
Uma década de disputas por direitos em que você olhou é pra pensar nos direitos é você olhou pra várias, vários tipos de violência que vinham sendo praticados, já vem sendo praticados há décadas.
É pela internet, contra mulheres, violências de gênero, sobretudo, né?
É, e eu e eu queria te perguntar sobre isso.
E em que essa violência se diferencia de outras violências de gênero que já já vinham sendo praticadas?
Como a Inteligência Artificial Intensifica a Violência de Gênero
OOA as ferramentas de inteligência artificial agravam a misoginia.
Pessoa 4
Eu vejo a criação dos deep fakes sexuais como primeiro uma violência de gênero.
Isso é super importante de dizer.
Todos os dados mostram como essas imagens são produzidas majoritariamente sobre mulheres.
Circulam majoritariamente.
Sobre mulheres, tem também o caso de crianças e adolescentes, né?
Mas quando a gente está falando de pessoas adultas, muito esmagadoramente uma questão de gênero e, nesse sentido, tem uma continuidade com violências anteriores que a gente já conhece.
A gente vem debatendo a disseminação não conscientida de imagens íntimas, conhecida também como pornografia de vingança.
Reveent pore, né?
Esse termo muito ruim desde pelo −2012.
Vendo como isso acontece no na internet, é pelo menos desde então, naquele momento, com uma preocupação de que não fosse possível controlar de forma alguma, não fosse possível ter um mecanismo, né?
Hoje a gente sabe que tem, mas não deixou de acontecer.
E a produção dessas imagens erotizadas sexuais sem autorização da pessoa retratada?
Ela tem uma função muito semelhante.
Que é a função de um lado, humilhação, de outro, um deleite sexual sem envolver a autonomia da pessoa.
E o que a gente tem visto nos relatos das pessoas que passam por isso é que se verdadeira a imagem ou não pode, dependendo do contexto, tem muito pouca diferença.
Porque a humilhação é produzida do mesmo jeito, porque ela está baseada em normas de gênero e hierarquias de gênero.
Expectativas sobre o comportamento da mulher.
Então, nesse sentido, não teria nada de novo.
Mas tem uma coisa muito nova aí, que é que quando a gente fazia o debate de disseminação não com sentido de imagens íntimas, surgia sempre aquele argumento que sempre tem que olhar com muitíssimo cuidado.
Aquele argumento de, olha, não produz as imagens, né?
Cuidado porque ele culpabiliza a vítima moraliza, né?
A troca de nudes, mas sempre surgia, né?
Olha, dá para controlar, você consegue trocar nudes de forma segura?
Ou então cuidado, não manda para pessoas que você não conhece.
Conhece coisas desse tipo e quando a gente está falando da produção de Jeep fakes, a gente está falando de uma coisa que fica absolutamente fora do controle das vítimas, anão ser que a gente vá falar para as pessoas não postarem mais nada na internet, o que não parece nada razoável, inclusive pode levar a uma exclusão das mulheres dos espaços públicos, né?
Não faz nenhum sentido.
Então não tem nenhuma participação da vítima no caso da Jeep, fakes, né não?
Que tivesse culpa da vítima nos anteriores, claro que não, mas nesse caso a gente está falando de um nível.
Ou ainda mais fora de controle, vamos dizer.
E uma possibilidade também de mais escala, né?
Disso ser feito de forma muito massiva, contra absolutamente qualquer pessoa conhecida ou desconhecida, et cetera.
O Papel das Empresas na Disseminação de Conteúdo Ilícito por IA
Pois essa questão da escala é, me leva a próxima pergunta que a gente IA fazer, que é, que espaço as empresas têm encontrado para colocar essas ferramentas na rua?
À disposição de todo mundo, né?
Quão simples é pro pro x ou pro ChatGPT ou ou pra pro nude?
É é se tornar disponível para as pessoas e tornar essa ferramenta criminosa, enfim, é disponível a qualquer um.
Pessoa 4
Pois é, a gente tem que pensar em onde que estão os gargalos de controle.
É, hoje não existe nenhum controle pra se colocar uma ferramenta disponível.
Claro que conforme as regulações vão surgindo, vão surgindo obrigações de se fazer testes, garantias de segurança, garantias de que os direitos das pessoas estão sendo atendidos, etcetera.
Mas isso são.
Barreiras legais, vamos dizer, né?
EEO controle disso sempre só vai ser feito depois que uma coisa é, já está na rua, porque não tem um órgão que autoriza, né?
Se 11 ferramenta pode ser colocada aí na rua ou não, e é bom que não tenha mesmo, porque isso burocratizaria demais, né?
Imagina se a gente tivesse uma fila aí de de ferramentas para serem liberadas?
Não é esse o ponto.
Agora, tem alguns outros gargalos, como por exemplo, quando a gente está falando de aplicativos de nude fire, eles tem que entrar numa App Store, e aí?
Você tem esse gargalo da App Store que faz o controle de conteúdos lícitos ou ilícitos.
O que surgiu nessa denúncia do ano passado foi, olha, isso é claramente, se um aplicativo do d fi é claramente um aplicativo ilícito, ele só tem essa finalidade ilícita.
Como que você está permitindo isso na sua loja, né?
E aí vem toda a discussão de responsabilização por isso ou não, et cetera.
Agora, com o tempo que é absolutamente necessário, é que existam demandas, né?
Obrigações jurídicas.
Pra esses sistemas passarem por testes.
Sistemas que envolvem esse tipo de risco passarem por testes obrigatórios antes de serem colocados no mercado.
E o que a gente está vendo é o contrário disso, né?
A gente está vendo uma política nos Estados Unidos, por exemplo, de tentar acelerar a liberação de sistemas, né?
Isso está em em discussão agora.
A gente está vendo uma corrida por fatias desse mercado, que é um mercado super disputado, que na maior parte dos casos ainda não dá lucros.
Não existe clareza de qual que é o modelo de negócio.
Tem toda uma discussão sobre uma bolha, mas a gente vê uma clara corrida pra todas, principalmente as big techs, né?
Colocarem seus sistemas na rua, mas outras empresas menores também.
E isso antes de qualquer garantia de segurança e direitos.
Pessoa 2
É é que é curioso ou talvez até bizarro, é.
Notar que as próprias regras das próprias plataformas muitas vezes não são compridas, né?
A folha fez outra reportagem, é ligada a esse tema que mostrou que OX é de novo ele.
Talvez não por coincidência, é tem permitido publicações de vídeos que simulam estupro e abuso sexual.
Em tese, OX não permite a publicação de imagens ou vídeos que mostrem violência e agressão sexual, né?
É essa reportagem também do Pedro Teixeira e da Tamara nacif, identificaram.
É mais de 20 vídeos que aludiam a violência sexual e, nesse caso, geralmente feita com atores, né?
É isso diz muito sobre as políticas internas também de segurança da rede, né?
Pessoa 4
Diz.
E essa sua pergunta é muito boa, porque ela coloca outra camada do problema, que é a camada da disseminação.
A gente tá falando aqui dos aplicativos de no d five, mas quando a gente tá falando do grock?
Ele está ali embedado no X, como eu falei, e já publica as imagens no XE.
Aí vem toda a discussão de que que as plataformas fazem e devem fazer em relação a conteúdos ilícitos, principalmente conteúdos graves como esse, né?
Inclusive, na decisão do Supremo Tribunal Federal do ano passado sobre responsabilidade das plataformas ilícitos como esse, são considerados muito graves contra crianças e adolescentes, violências contra mulheres.
A gente tem aí de um lado as políticas das plataformas e como você disse, essas políticas não estão sendo cumpridas.
O MPF, autoridade nacional de proteção de dados e a senacon emitiram essa recomendação na semana passada ao grosc.
E eles falam disso, né?
Que nem as políticas do próprio grosc estão sendo cumpridas com os perfis que estavam fazendo isso tem que ser suspensos isso.
Pelas próprias regras internas.
E aí, para além disso, tem a discussão jurídica sobre o quanto as plataformas são responsáveis por esses conteúdos ilícitos.
E aí a gente entra em uma série de meandros.
A gente poderia falar de uma plataforma qualquer, vamos dizer, colocar um vídeo desse no TikTok.
E aí a gente estaria falando de qual?
Que é a responsabilidade do TikTok?
Mas no caso do x, me parece que tem uma complexidade adicional.
Que é que é o próprio grochi produzindo as imagens?
Pessoa 1
Que é a ferramenta da própria plataforma, né?
Pessoa 4
É a ferramenta da própria plataforma.
E aí a gente começa a ter uma discussão sobre se a gente está falando exclusivamente de conteúdo de terceiros, né?
Porque tem uma participação do próprio grochi na criação desses conteúdos.
Então é até de se questionar, e acho que essa discussão a gente precisa avançar nela.
Mas é até de se questionar se é nesse caso.
OX não está atuando como coautor?
Né dessas postagens, tendo nesse caso mais responsabilidade.
Pessoa 1
É antes de falar das responsabilizações, eu só fiquei pensando numa coisa.
Enquanto você falava que é, você falou de um estímulo ao desenvolvimento, né?
Dessas ferramentas, desse mercado e tudo mais.
Incentivos e Conflitos na Competição por Fatias do Mercado de IA
É, mas no mercado de inteligência artificial, existe algum tipo de preocupação sobre esse tema?
Ou seria ingênuo pensar que, sei lá, pelo menos uma empresa tem feito algum esforço para frear o desenvolvimento de ferramentas como essas, de que a gente está falando, ou o uso é esse uso dessas ferramentas?
Pessoa 2
Se há algum estímulo para que elas tenham essa preocupação ou se o ambiente hoje que a gente tem é de uma competição desenfreada mesmo.
E vamos lá, quem chegar primeiro chegou é que vence e.
E dane se os direitos.
Pessoa 4
Eu acho que dá para fazer um paralelo com a discussão das plataformas.
Quais que são os incentivos que as plataformas têm para garantir segurança ou garantir tudo vale?
E aí de um lado, a gente pode dizer, que bom, se os usuários começarem a pressionar.
A plataforma não quiserem estar ali porque aquele ambiente é um ambiente que viola direitos, que é um ambiente tóxico.
A gente pode dizer que bom, tem um incentivo para elas removerem, tem um incentivo jurídico também da responsabilização, elas podem ter que responder por isso.
E tem um incentivo de anunciantes que no caso, daí a generativa.
Ainda não é o caso, né?
Muito provavelmente em breve vai vir a ser pelas discussões que estão surgindo aí dos modelos de monetização agora.
Tenham incentivo por parte das plataformas também de manter conteúdo divisivo no ar.
Esse tipo de conteúdo atrai atenção, atrai mais tempo de tela e no caso dessa corrida pela aí agenerativa, acho que tem um incentivo mesmo de soltar o produto o mais rápido possível, tentar ocupar uma fatia desse mercado.
Então é acho que pode ter interesses conflitantes.
É um interesse aí de imagem, né?
E de agradar usuários, anunciantes de um lado e outro interesse.
De se preocupar o mínimo possível, de gastar o mínimo possível com segurança e colocar o produto logo na rua, claro.
A Necessidade de Regulação Preventiva e Responsabilização Jurídica da IA
Bom, aí a gente chega na responsabilização, né, que era para onde a gente estava caminhando.
Pessoa 5
É, a gente está.
Pessoa 1
Falando aqui de responsabilização de quem cria, de quem dissemina essas imagens e também.
Das empresas que facilitam essas violências ao oferecer essas ferramentas, tem responsabilização para todos esses envolvidos.
Pessoa 4
Do ponto de vista jurídico, a gente tá falando mesmo dessas 3 camadas, a gente costuma debater mais a responsabilização de quem cria as imagens e para isso a gente já tem.
Previsão no código penal brasileiro teve uma mudança recente no código penal que colocou uma regra específica ali sobre violência psicológica contra a mulher, usando inteligência artificial.
E já tinha também uma regra sobre montagens, não se poder produzir montagens sexuais sem autorização de alguém.
A gente poderia falar também de responsabilização civil pelos danos, uma indenização a quem foi lesado.
Por esse tipo de conteúdo.
E aí quando a gente passa para as plataformas, a gente passa para discussão da responsabilidade dos provedores de serviços, provedores de aplicação na internet, e toda essa discussão do Marco civil, que está muito presente por causa da decisão do STF, a gente ainda está esperando.
Né?
As decisões sobre os embargos, tudo para ter 11, decisão final.
Mas, enfim, até porque já tinha uma regra no Marco civil da internet sobre disseminação não consensual de imagens íntimas, a gente já pode dizer com segurança que as plataformas são responsáveis, no mínimo, a partir de uma notificação privada, então notificadas de que aquele conteúdo.
Ilícito está presente na plataforma e a gente está falando de conteúdo ilícito, né?
Estava falando aí de como existe legislação para isso.
Elas têm responsabilidade subsidiária já mesmo antes da decisão do STF.
Com a decisão do STF, vai ter uma discussão aí se elas têm responsabilidade mesmo antes de uma notificação, porque esses são crimes graves, que envolvem dever de cuidado, principalmente nesses casos de disseminação massiva, né?
Como a gente está vendo no grosc.
E aí vem a terceira camada, que é a responsabilização de quem é responsável.
Pela ferramenta que produz.
E aí a gente já tem as regras gerais de responsabilidade que podem se aplicar nesse caso, mas o que me parece muito importante da gente debater é como que a gente consegue atuar na regulação desses agentes para além da responsabilização depois que o fato acontece?
Pessoa 2
É, eu tava pensando justamente de onde deveriam vir as reações que talvez garantissem um obstáculo anterior ao surgimento dessas questões, né?
Porque a gente tá falando isso tudo, porque o problema já aconteceu, já tá posto, não deveria ter uma regulação anterior que falasse, gente, você não pode fazer isso, me desculpe, é crime.
Pessoa 4
Pois é, já existem diversas regras no ordenamento jurídico brasileiro que podem ser interpretadas nesse sentido, né?
Você permitir uma funcionalidade ilícita, enfim, tem várias regras que já poderiam se aplicar.
Mas quando a gente está falando especificamente de inteligência artificial, tem já um debate relativamente Maduro sobre o que que deveria ser exigido.
Das empresas que permitem a criação de imagens e, principalmente, das funcionalidades de criação de imagem, a semelhança de uma pessoa.
Essa lei de regulação de inteligência artificial que a gente está discutindo na Câmara, ela cria regras de prevenção mesmo.
São regras que tem que ser cumpridas pelas empresas antes de colocar 11 serviço no mercado.
E essas regras são muito mais rígidas para aplicações que são consideradas.
De alto risco.
E a primeira coisa que seria muito importante seria que essas funcionalidades de criar uma imagem, a semelhança de alguém fossem consideradas de alto risco e essas regras pudessem se aplicar.
E aí a gente tá falando não só, né?
De de efeito, mas também da possibilidade de fraudes, de várias outras coisas.
Ah, mas não tem os legítimos dessas ferramentas.
Tem super.
Mas você classificar essas ferramentas como alto risco não significa que elas não.
Não podem existir.
Só significa que quem vai colocar essa ferramenta no mercado tem que garantir uma série de coisas antes de colocar essa ferramenta no mercado para que ela possa ser usada para fins lícitos legítimos, né?
E essa seria a primeira coisa.
Segundo, a gente tem que discutir algumas regras de transparência mais específicas, como criar macas d'água, seja visuais, seja técnicas.
Pra ser simples de se verificar que uma imagem, um vídeo é sintético, né?
É produzido por inteligência artificial e isso também já ajuda.
Terceira coisa, funcionalidades que permitem criação de imagens sexuais.
De crianças e adolescentes ou de nudez de crianças e adolescentes?
Essas funcionalidades já são ilícitas, né?
Pelo estatuto da criança e do adolescente, mas seria muito importante estar ali na lei também, caso caso reste alguma dúvida.
E no caso das pessoas adultas?
Aí a gente tava conversando antes.
Puxa, tem possibilidades dessa tecnologia ser usada para fins legítimos?
Essa que tem e todos esses casos envolvem, com certeza, a necessidade de autorização, como as pessoas têm falado até de autenticação pela pessoa retratada, não vai ser OX.
Colocando aí nos termos de uso, que se você usa a plataforma, você está autorizando que isso vai autorizar a imagem, né?
Não é sobre isso que a gente está falando.
A gente está falando sobre a pessoa especificamente provar que É Ela e que ela está autorizando a criação daquelas imagens.
Fora desse contexto, essas funcionalidades devem ser proibidas, banidas?
Mesmo, né?
E isso me parece que é muito essencial que entre na regulação de inteligência artificial.
Pessoa 1
E enquanto tudo isso não vem, o que que a gente faz?
Como é que a gente se protege?
Porque assim posso colocar uma foto minha.
Pessoa 5
É Na Na internet, uma.
Pessoa 1
Foto normal, uma foto vestida e tal e de repente me encontrar em uma situação que eu não me coloquei.
Pessoa 4
E enquanto isso não acontece, infelizmente, isso é uma coisa que não dá para controlar.
Isso pode acontecer.
Alguém pode criar essa imagem sua.
E aí tem algumas coisas que podem ser feitas.
Se essa imagem circula no sentido de tirar essa imagem.
Então, se a gente estiver falando de redes sociais, uma notificação privada já faz com que a empresa se torne.
Responsável se ela não remover, é possível entrar no judiciário para pedir a remoção dessa imagem quando a imagem for indexada em mecanismos de busca.
Os mecanismos de busca normalmente tem um formulário que você pode preencher para remover também esse tipo de conteúdo.
E mesma coisa.
Se isso não acontecer, é possível entrar no judiciário para solicitar a remoção.
Agora, existindo essas ferramentas, atualmente, não há nada para fazer para impedir que alguém.
Possa criar uma imagem sua a partir de uma foto.
Pessoa 2
Sua e há canais de denúncias satisfatórios, você acha?
Para apontar e para retirar as imagens, digo?
Pessoa 4
A gente está vendo que OX não está removendo, por exemplo.
Outras redes costumam responder com mais rapidez, mas a gente tem visto uma degradação muito grande dos sistemas de moderação de conteúdo desde o ano passado, esse alinhamento.
Das plataformas com um padrão mesmo de moderação de conteúdo muito mais baixo, né?
Menos investimento nessa área, mais é experiência.
É que algumas plataformas respondem mais rapidamente do que isso do x, que inclusive, por muito tempo se negou a remover essas imagens.
Tem o problema também de quando essas imagens são disseminadas em aplicativos de mensagem.
Aí elas estão armazenadas nos dispositivos das pessoas que estão trocando mensagens.
Imagens depende do aplicativo, mas no WhatsApp, por exemplo, elas não estão armazenadas em um servidor central.
Não tem de onde você pedir para remover.
Tem algumas outras ferramentas, por exemplo, denunciar grupos, coisas desse tipo.
Mas é bem mais difícil, né?
De, vamos dizer, eliminar essas mensagens, essas imagens, porque elas já estão ali armazenadas nos telefones.
E aí tem a discussão de canais de denúncia formais e institucionais.
Pessoa 5
A polícia, por exemplo?
Pessoa 4
Polícia, Ministério público.
No caso de pedido de remoção em plataformas, você vai fazer um pedido.
Aí é um processo civil, pedido no judiciário para remoção das plataformas.
Se elas não estiverem removendo, é uma possibilidade.
E no caso de responsabilização penal, é levar o caso para polícia, para o Ministério público.
E aí vem toda a discussão sobre.
Se as nossas instituições estão preparadas para lidar com isso, para fazer essas investigações, a gente viu melhora muito melhora nos últimos anos.
Mas ainda é um tipo de problema que não é priorizado, não é visto como o mais urgente para se resolver.
Tem muitos casos ainda de acontecimentos desse tipo e que acabam não dando em nada.
A investigação não vai adiante, etcetera.
Pessoa 2
Essas ferramentas estão sendo disponibilizadas é pelas empresas, mas é são os usuários da internet, das redes que tem usado essas ferramentas e disseminado essas imagens.
É minha ideia.
Não é aqui criminalizar todo mundo que usa a internet, mas eu fico pensando, o que que esse caso nos mostra?
Da relação que a gente tem com as redes sociais, com com a internet como um todo, né?
E esse caso é, é um sintoma ou é uma causa?
É EE é um sintoma ou uma causa da internet ou, mais amplo, um sintoma, uma causa social?
Pessoa 4
O usuário que cria de fakes sexuais, de alguém que dissemina se de fakes sexuais de alguém.
Do mesmo jeito que a gente vê em outros casos de violência de gênero que a gente chama facilitado pela tecnologia ou online, é muito comum que seja um usuário que não pense nas consequências que aquilo produz.
Não pense no sentido de ou não achar que vai ter, mas em geral, não ligar.
E existe uma discussão sobre como isso acontece também por causa da distância física.
Muitas coisas que a gente fala online, a gente não teria coragem de falar na cara das pessoas, et cetera, que a.
Pessoa 2
Internet é a Terra sem lei, né?
Pessoa 4
É então.
E não é, né?
Mas eu até hesito um pouco em falar de anonimato.
É uma questão, óbvio, mas a gente vê muitas violências online acontecendo.
Aí vamos dizer a luz do dia, né?
Por perfis de pessoas que estão usando o nome sobrenome.
Não acho que isso que seja o mais determinante, né?
Claro que isso pode colocar uma camada, mas vamos dizer, de coragem aí pra pra violência.
Mas muita gente começa essas violências mesmo sem se esconder por trás do anonimato, né?
E aí essa distância física tem muito debate, muita pesquisa, debatendo como ela tem um papel.
Mas eu acho que a gente tem que ir além disso.
Que que é esse desejo?
De sujeitar alguém, de objetificar alguém a esse.no sentido de criar uma imagem sexual, uma imagem erótica, pensando aí no próprio deleite.
Mas fazer isso sem autonomia.
A vontade da pessoa está envolvida e vamos passo mais além e disseminar.
Isso ainda, né?
E isso está muito ligado aos grupos espaços online que já compartilham há muito tempo imagens não consentidas é, eu vou dar até um passo além e dizer que isso está ligado a relações não consentidas.
Eu passei a semana lendo um pouco mais sobre o caso da Gisele pelicô, né?
Que teve alguns.
Algumas notícias.
Pessoa 1
A francesa que foi durante anos estuprada pelo marido e por homens que.
Pessoa 5
Ele convidava para a casa dele, né?
Pessoa 4
Isso, e eu sei que parece um passo muito grande, mas a gente está falando de uma grande cultura de sujeição mesmo das mulheres e.
E eu digo que é um passo muito grande, porque é claro, né, que a pessoa que tá fazendo 11 deep fake é sexual de alguém na internet.
Aquilo exige muito menos esforço do que o que do caso que a gente tá conversando aí, que exige uma série de passos muito planejados.
Mas vamos dizer que tá dentro de uma mesma cultura de sujeição.
E aí, no caso, tanto envolvendo aqueles homens quanto envolvendo as pessoas que tem acesso a essas imagens.
Gostam disso de alguma forma?
Isso também está dentro.
É dessa cultura, de uma cultura hierárquica entre homens e mulheres.
Então a gente precisa olhar para isso.
E é importante a gente falar disso, porque se a gente só fica falando de responsabilização, a gente não vai para raiz, né?
Dos problemas.
E infelizmente essa é bem mais difícil de resolver do que responsabilização.
Destaques Econômicos e Políticos do Dia e Encerramento do Podcast
O comitê de política monetária do banco central confirmou as expectativas e manteve a taxa básica de juros em 15% ao ano pela quinta reunião seguida.
A Selic está estacionada no patamar mais alto em 2 décadas desde o segundo semestre do ano passado.
Como o reflexo dos juros elevados por longo período, a inflação fechou o ano passado abaixo do teto da meta perseguida pelo banco central.
Agora, o governo Lula e setores produtivos têm pressionado por uma queda.
O comitê disse que, se o cenário esperado pelos próximos meses se confirmar, deve começar a cortar os juros na reunião de março.
Nos Estados Unidos, o federal Reserve anunciou ontem a manutenção da taxa de juros Americana na faixa entre 3 e meio e 3,75% ao ano.
A decisão interrompe uma sequência de 3 cortes consecutivos.
O Fed sofre pressão de Donald Trump para baixar os juros, mas considerou que a inflação no país permanece um tanto elevada e que o mercado de trabalho mostrou sinais de estabilização.
Pessoa 1
O ministro dias Toffoli, do Supremo Tribunal Federal, autorizou a abertura de um inquérito para investigar a rede de influenciadores que teria sido usada pelo banqueiro Daniel vocaro, do master, para descredibilizar o banco central.
A decisão atende a um pedido da polícia federal.
APF identificou cerca de 40 perfis que teriam sido contratados por vocaro para integrar o chamado projeto DV.
O recrutamento dos perfis teria começado em dezembro e envolvido um contrato de confidencialidade de 800000 BRL.
A defesa de borkário diz que ele nega veementemente envolvimento ou conhecimento sobre práticas de difamação ou disseminação de fake news sobre o banco central.
Pessoa 2
Esse foi o café da manhã, podcast mais importante do seu dia, uma parceria entre a folha e o Spotify.
Pessoa 1
Eu sou a Gabriela Mayer.
Pessoa 2
E eu, Gustavo Simon.
Pessoa 1
A produção é de Gustavo Luiz, Lucas Monteiro e Rafael conclli e a edição de som é de Tomé graneman.
Pessoa 2
Esse episódio usa um áudio do SBT.
Pessoa 1
Obrigada pela companhia e até amanhã tchau até.
Podcast Summary
Key Points:
A ferramenta de IA Grok, integrada à rede social X, gerou e disseminou em massa imagens sexualizadas não consensuais, principalmente de mulheres, levantando alerta global.
A facilidade de criar "deep fakes" sexuais com IA agrava violências de gênero pré-existentes, retirando o controle das vítimas e potencializando a escala e o dano.
Autoridades de vários países, incluindo Brasil e União Europeia, reagiram com recomendações, investigações e possíveis multas, pressionando por regulação e responsabilização das plataformas.
O debate expande-se para além do Grok, abrangendo outras ferramentas (como ChatGPT) e a necessidade de equilibrar a inovação com salvaguardas, testes obrigatórios e a discussão sobre usos legítimos da tecnologia.
Summary:
O escândalo envolve a ferramenta de inteligência artificial Grok, da plataforma X (antigo Twitter), que foi utilizada para gerar e disseminar em grande escala imagens sexualizadas não consensuais, principalmente de mulheres. Uma análise revelou que uma porcentagem significativa das imagens geradas tinha conteúdo sexualizado, levando a uma reação internacional. O caso exemplifica como as IAs generativas facilitam e amplificam a violência de gênero digital, criando "deep fakes" realistas a partir de qualquer foto disponível online, o que retira totalmente o controle das vítimas sobre sua própria imagem.
Em resposta, autoridades de países como Brasil, Espanha e o bloco da União Europeia emitiram recomendações, iniciaram investigações e ameaçaram aplicar multas pesadas, pressionando por medidas concretas das plataformas, como a suspensão de contas infratoras e a criação de canais de denúncia. O debate destaca a urgência de regulação que imponha testes de segurança antes do lançamento das ferramentas e discute os limites da responsabilidade das empresas, especialmente quando a própria ferramenta da plataforma é usada para gerar o conteúdo ilícito. A discussão também aborda, de forma marginal, a possibilidade de usos legítimos e consensuais da tecnologia, mas o foco permanece no combate à violação em massa de direitos e na necessidade de freios eficazes.
FAQs
O escândalo envolve a ferramenta de IA Grok, da rede social X, que foi usada para gerar e publicar milhões de imagens sexualizadas, principalmente de mulheres, a partir de comandos simples e sem moderação adequada.
Autoridades como a ANPD no Brasil recomendaram a suspensão de contas e criação de canais de denúncia. Países como Malásia e Indonésia baniram a ferramenta, e a União Europeia abriu investigação, com possibilidade de multas de até 6% do faturamento global do X.
Não. Há relatos de deep fakes desde 2017, e outras ferramentas como o ChatGPT também foram usadas para editar fotos e remover roupas sem consentimento, além de aplicativos específicos disponíveis em lojas online e redes sociais.
Elas ampliam a escala e facilitam a produção massiva de imagens sexualizadas sem controle das vítimas, perpetuando humilhação baseada em normas de gênero. Diferente de casos anteriores, a vítima não tem participação alguma, tornando a violência ainda mais descontrolada.
Há debates sobre possíveis usos legítimos, como na autonomia sexual de adultos ou para proteger atrizes de cenas degradantes em filmagens. No entanto, são casos marginais e o foco atual está em coibir os usos não consensuais e ilícitos.
Muitas empresas liberam ferramentas sem garantias de segurança, e plataformas como o X não cumprem suas próprias políticas ao permitirem a disseminação. Há discussões sobre responsabilização, especialmente quando a ferramenta é integrada à plataforma, podendo configurar coautoria.
Chat with AI
Loading...
Pro features
Go deeper with this episode
Unlock creator-grade tools that turn any transcript into show notes and subtitle files.