di Jéssica Gessoli
Introduzione editoriale
Ci sono articoli che descrivono un rischio e articoli che ne spostano il baricentro. Questo appartiene al secondo tipo. Jéssica Gessoli affronta deepfake e identità digitali sintetiche non come un capitolo della frode informatica, ma come una questione che tocca dignità, consenso, reputazione, prova e fiducia sociale — e mostra, passo dopo passo, perché trattarla solo come frode significa bloccare forse una transazione lasciando la persona senza difesa.
Il titolo è una formula da leggere con attenzione: disarmare l’intelligenza artificiale non vuol dire limitarne la capacità di generare. Vuol dire impedire che la capacità di simulare una persona si converta in licenza di agire o decidere in suo nome, senza consenso, tracciabilità e responsabilità. È una distinzione che l’autrice tiene ferma per tutto il testo, insieme ad altre tre che varrebbe la pena adottare come lessico comune: provenienza non è veridicità, rilevamento non è decisione, automazione non è responsabilità.
Il contributo più originale è però nel capitolo terzo, dove l’articolo smette di occuparsi del falso che convince per occuparsi della verità che non riesce più a dimostrarsi. Il dividendo del bugiardo — l’argomento di Chesney e Citron secondo cui la sola esistenza di falsificazioni credibili offre a chi ha potere una nuova difesa per negare registrazioni autentiche — viene qui portato dentro la vita ordinaria: il lavoro, l’accertamento interno, la relazione personale. La vittima si trova stretta in un paradosso: deve provare di non aver prodotto il contenuto falso e, insieme, che i propri documenti veri sono ancora suoi.
Da qui nasce la parte propositiva, e nasce come architettura a strati — governare e prevenire, verificare e rilevare, rispondere e recuperare, riparare e apprendere — costruita su NIST, LGPD, C2PA e AI Act senza mai attribuire a nessuno di questi strumenti più di quanto dimostri. Al centro c’è una regola che i lettori di questo numero riconosceranno: quanto maggiore è la conseguenza di un output su una persona identificabile, tanto minore può essere la delega decisionale e tanto maggiore deve essere la tracciabilità umana.
Non è un caso che l’articolo dialoghi esplicitamente con Pfliegel, Carpenedo, Ferrara e Pizzo. È uno dei punti in cui questo numero smette di essere una raccolta e diventa una conversazione: quattro voci che lavorano sulla non-delegabilità in aula, nella ricerca, nel discernimento e nella custodia dell’umano, e una quinta che ne verifica la tenuta là dove la posta in gioco è il volto e la voce di qualcuno.
Va segnalata infine una scelta di onestà intellettuale rara: il capitolo settimo ospita l’obiezione invece di aggirarla. Troppi controlli rallentano l’innovazione, gravano sulle organizzazioni piccole, invecchiano male. L’autrice la prende sul serio — «anche una governance cattiva produce danno» — e risponde con la proporzionalità, non con la rassicurazione.
Resta, in chiusura, la frase che tiene insieme tutto il numero: dietro ogni identità sintetica c’è una persona reale, e le conseguenze che la riguardano non sono simulate. La tecnologia può riprodurre i tratti di un volto; non può prestare il consenso di chi imita, né riparare ciò che ha rotto.
Carmine Marinucci
——–
Abstract (italiano)
L’articolo esamina i deepfake e le identità digitali sintetiche come una superficie di rischio che va oltre la frode e incide su dignità, consenso, reputazione, prova e fiducia sociale. Sostiene che “disarmare l’IA” non significhi ostacolare l’innovazione, ma ridurre opacità, impunità e delega indiscriminata attraverso una governance proporzionata all’impatto. Muovendo da riferimenti di cybersecurity, continuità operativa, gestione del rischio e responsabilità umana, propone un approccio a strati: governare e prevenire; verificare e rilevare; rispondere e recuperare; riparare e apprendere. Il testo distingue la provenienza dalla veridicità, il rilevamento dalla decisione e l’automazione dalla responsabilità. Esamina inoltre evidenze normative, tecniche e sperimentali del Brasile e del contesto internazionale, tra cui le regole elettorali brasiliane, l’AI Act, i framework del NIST e lo standard C2PA. La tesi centrale è che la generazione o l’analisi di contenuti possa essere delegata in determinati contesti, mentre autenticità, consenso, valutazione del danno, responsabilizzazione e riparazione richiedono supervisione umana e istituzioni capaci di agire. La protezione efficace non dipende da un unico strumento, ma dall’integrazione di controlli tecnici, processi organizzativi, alfabetizzazione mediatica, conservazione delle prove e cura della persona colpita.
Abstract (English)
This article examines deepfakes and synthetic digital identities as a risk surface that extends beyond fraud and affects dignity, consent, reputation, evidence, and social trust. It argues that “disarming AI” does not mean obstructing innovation, but reducing opacity, impunity, and indiscriminate delegation through governance proportionate to impact. Drawing on cybersecurity, business continuity, risk management, and human accountability, it proposes a layered approach: govern and prevent; verify and detect; respond and recover; repair and learn. The article distinguishes provenance from truth, detection from decision, and automation from responsibility. It also examines regulatory, technical, and experimental evidence from Brazil and the international context, including Brazilian electoral rules, the AI Act, NIST frameworks, and the C2PA standard. Its central thesis is that content generation or analysis may be delegated in certain contexts, while authenticity, consent, harm assessment, accountability, and reparation require human oversight and institutions capable of acting. Effective protection does not depend on a single tool, but on the integration of technical controls, organizational processes, media literacy, evidence preservation, and care for the person affected.
Palavras-chave
inteligência artificial; deepfakes; cibersegurança; identidade digital; dignidade humana; governança de IA; resiliência operacional.
1. Quando ver e ouvir deixam de bastar
Imagine receber uma chamada de vídeo de alguém que você conhece e respeita. A imagem parece legítima, a voz carrega o ritmo habitual e o pedido chega com urgência: autorizar uma transferência, revelar uma informação sensível ou contornar um procedimento “apenas desta vez”. Tudo parece confirmar a identidade de quem fala. Somente depois da decisão surge a pergunta que deveria ter vindo antes: aquela pessoa estava realmente ali?
O cenário é hipotético, mas o vetor de risco é real e documentado. Um alerta oficial do FBI/IC3 descreve o uso criminoso de áudio e vídeo gerados por inteligência artificial para personificação, fraude e engenharia social, incluindo pedidos urgentes de dinheiro, tentativas de acesso a contas e vídeos de falsos executivos ou autoridades. A mudança é relevante: o ataque já não mira apenas uma senha ou um sistema; explora a confiança humana depositada em sinais de identidade que, até pouco tempo, pareciam difíceis de falsificar.
Durante décadas, “ver para crer” funcionou como atalho de validação. A inteligência artificial generativa rompe esse atalho ao separar sinais reconhecíveis — rosto, voz, gestos e modo de falar — da pessoa a quem pertencem. Sob a perspectiva da cibersegurança, isso reduz a confiabilidade de autenticações apoiadas somente em imagem ou voz. Sob a perspectiva humana, permite que uma identidade seja usada para dizer, pedir ou aparentar fazer algo que seu titular nunca autorizou. O deepfake não é apenas um arquivo falso: pode transformar a presença de alguém em instrumento de ação contra terceiros e contra a própria pessoa simulada.
A evidência acadêmica recomenda cautela diante de respostas fáceis. O estudo de Vaccari e Chadwick indica que deepfakes políticos podem ampliar a incerteza e reduzir a confiança, ainda que não convençam diretamente a maioria. A pesquisa de Groh e coautores mostra que o discernimento humano varia conforme a modalidade e o contexto, e que vozes sintéticas produzidas por sistemas de texto para fala podem ser especialmente difíceis de distinguir. Portanto, não é razoável transferir toda a responsabilidade para o olhar individual — nem supor que um único detector resolverá o problema.
A pergunta central, então, não é somente “este conteúdo é falso?”. É também: quem deve validar a identidade, interromper a decisão, preservar evidências, responder pelo dano e reparar a pessoa cuja imagem ou voz foi apropriada? Se o problema for tratado apenas como fraude, talvez a transação seja bloqueada, mas a reputação e a narrativa da vítima permaneçam desprotegidas. Se for tratado apenas como abstração ética, faltarão controles de autenticação, escalonamento e resposta a incidentes.
Desarmar a inteligência artificial, neste contexto, não significa impedir sua capacidade de gerar conteúdo. Significa impedir que a capacidade de simular uma pessoa se converta em licença para agir ou decidir em seu nome, sem consentimento, rastreabilidade ou responsabilização. Quando ver e ouvir deixam de bastar, a confiança não pode desaparecer: ela precisa ser reconstruída como processo.
2. A identidade virou superfície de ataque
A cibersegurança aprendeu a inventariar servidores, aplicações, contas, dados e processos críticos. O avanço dos deepfakes exige ampliar esse mapa: imagem, voz, gestos, padrões de linguagem, reputação e memória pública também podem ser capturados, combinados e reutilizados. Esses elementos não funcionam apenas como dados sobre uma pessoa. Em determinadas situações, funcionam como sinais pelos quais colegas, familiares, clientes e instituições reconhecem quem ela é e decidem se devem confiar, obedecer ou agir.
Por isso, a identidade tornou-se uma superfície de ataque. A expressão não significa reduzir a pessoa a um ativo tecnológico, mas reconhecer que terceiros podem explorar traços identitários como porta de entrada para uma decisão. Uma gravação disponível em reunião, entrevista, palestra ou rede social pode fornecer matéria-prima para uma simulação. O conteúdo sintético, por sua vez, pode ser empregado em engenharia social, desinformação, constrangimento ou fraude. Nem sempre é necessário invadir um sistema: em alguns casos, basta fabricar uma presença convincente e conduzir alguém a autorizar a ação desejada.
É importante distinguir fraude transacional de apropriação da identidade. Na primeira, o objetivo predominante costuma ser obter dinheiro, acesso ou informação. Na segunda, a própria representação da pessoa é tomada e reorganizada: alguém passa a aparentar dizer, apoiar, prometer ou fazer algo sem ter participado da decisão. As duas situações podem ocorrer juntas, mas não são equivalentes. Mesmo quando nenhuma transferência é concluída, a simulação pode atingir vínculos profissionais, confiança, honra, segurança psicológica e o direito de controlar a própria narrativa.
Essa distinção amplia também o conceito de impacto. A confidencialidade é afetada quando dados pessoais são coletados ou reutilizados sem controle; a integridade, quando falas e contextos são alterados; e a autenticidade, quando os sinais disponíveis já não permitem confirmar a origem. Entretanto, a análise não termina nos pilares técnicos. Há uma dimensão de dignidade porque o dano pode incidir sobre autonomia, reputação, privacidade e reconhecimento social. A Constituição brasileira protege intimidade, vida privada, honra e imagem, enquanto o Código Civil oferece fundamentos para a tutela da palavra, da imagem e da vida privada. Isso não torna todo conteúdo sintético automaticamente ilícito; finalidade, contexto, consentimento, exceções legais e efeitos concretos precisam ser avaliados em cada caso.
A LGPD acrescenta deveres relacionados a finalidade, necessidade, segurança, prevenção, transparência e responsabilização quando há tratamento de dados pessoais. Imagem ou voz não devem ser classificadas automaticamente como dado biométrico: essa conclusão depende do uso técnico voltado à identificação. Ainda assim, sua coleta e reutilização podem envolver dados pessoais e exigir governança desde a origem. Consentimento é relevante, mas não deve ser tratado como autorização genérica e permanente para usos futuros imprevisíveis.
Em escala internacional, a Recomendação da UNESCO sobre Ética da Inteligência Artificial associa governança a direitos humanos, dignidade, privacidade, supervisão e avaliação de impactos. Os Princípios de IA da OCDE conectam sistemas confiáveis à integridade da informação, à segurança e à responsabilização. O NIST AI RMF oferece uma ponte operacional: governar responsabilidades, mapear contexto e pessoas afetadas, medir riscos e administrar tratamentos ao longo do ciclo de vida. Nenhum desses referenciais resolve sozinho o problema, mas juntos ajudam a evitar que a proteção permaneça apenas no discurso.
Na prática, organizações precisam perguntar não somente “quais dados possuímos?”, mas também “quais identidades ajudamos a expor, reproduzir, autenticar ou representar?”. A resposta exige coordenação entre cibersegurança, privacidade, jurídico, comunicação, recursos humanos e liderança. Proteger a identidade não é transferir para cada pessoa a obrigação de vigiar permanentemente sua própria imagem. É criar critérios de uso, autenticação proporcional ao risco, canais de contestação, preservação de evidências e mecanismos de reparação. Quando o inventário inclui apenas sistemas e exclui pessoas, parte decisiva do risco permanece invisível.
3. O falso que convence e a verdade que passa a ser negada
O risco mais evidente de um deepfake é alguém acreditar em uma falsificação. Mas essa não é a única forma de dano — e talvez nem seja a mais corrosiva. Quando imagens e vozes podem ser simuladas com crescente verossimilhança, também aumenta a possibilidade de que conteúdos autênticos sejam recebidos com suspeita. O problema deixa de ser apenas a mentira que convence e passa a incluir a verdade que já não consegue provar a si mesma.
O estudo de Vaccari e Chadwick ajuda a compreender esse deslocamento. Em um experimento com participantes do Reino Unido, versões enganosas de um vídeo político não levaram a maioria a aceitar diretamente a falsidade apresentada; seu efeito mais consistente foi ampliar a incerteza. Essa dúvida, por sua vez, esteve associada à redução da confiança em notícias circuladas nas redes sociais. O resultado não deve ser generalizado para todas as culturas, plataformas ou formas de deepfake, mas revela um ponto decisivo: uma falsificação pode produzir impacto mesmo sem ser plenamente acreditada.
Essa zona de incerteza altera o comportamento. Diante de um conteúdo duvidoso, algumas pessoas compartilham antes de verificar; outras suspendem o julgamento; outras escolhem a versão mais conveniente às suas crenças. Em qualquer desses caminhos, o custo da validação cresce. Jornalistas, empresas, autoridades, profissionais e cidadãos precisam investir mais tempo para demonstrar origem, contexto e integridade. A assimetria favorece quem manipula: fabricar a dúvida pode ser rápido, enquanto restaurar a confiança exige evidências, coordenação e credibilidade acumulada.
A pesquisa de Groh e coautores reforça que a percepção humana não funciona como detector universal. Em cinco experimentos pré-registrados com participantes expostos a discursos políticos autênticos e fabricados, o discernimento variou conforme a modalidade, o contexto e a forma de produção do áudio. Pistas audiovisuais ajudaram em determinadas comparações, mas vozes geradas por sistemas de texto para fala mostraram-se particularmente difíceis em relação às versões com atores. Esses resultados não autorizam uma regra simples como “vídeo é mais seguro que áudio” ou “uma pessoa atenta sempre percebe”. A capacidade de avaliação depende do estímulo, da familiaridade, das condições de observação e das técnicas utilizadas.
Há ainda uma consequência mais perigosa: o chamado dividendo do mentiroso. A análise de Chesney e Citron mostra que a existência de falsificações convincentes oferece a pessoas interessadas uma nova defesa para negar registros verdadeiros. Um áudio autêntico, uma fotografia legítima ou um vídeo real podem ser descartados como fabricação. Assim, a tecnologia não serve apenas para criar evidência falsa; sua mera possibilidade pode ser explorada para enfraquecer evidência verdadeira. Quem tem poder, audiência ou interesse em escapar da responsabilização ganha espaço para transformar verificação em disputa narrativa.
Esse efeito atravessa diferentes ambientes. Na democracia, degrada o debate público e facilita a rejeição oportunista de provas. No trabalho, pode comprometer comunicações executivas, apurações internas, admissões de responsabilidade ou denúncias. Nas relações pessoais, permite negar mensagens reais ou atribuir falas inventadas a alguém. Em todos os casos, a vítima enfrenta um paradoxo: pode ter de demonstrar que não produziu o conteúdo falso e, ao mesmo tempo, provar que outros registros autênticos continuam sendo seus. A identidade fica pressionada entre a falsificação e a negação.
Por isso, limitar a resposta à pergunta “conseguimos detectar este arquivo?” é insuficiente. Detectores são úteis, mas seu desempenho varia conforme modelo, compressão, modalidade, contexto e evolução técnica. Preservar a confiança exige um ambiente no qual evidências possam ser avaliadas por múltiplos sinais: origem conhecida, cadeia de custódia, metadados, confirmação por canal independente, contexto, registros anteriores e análise humana responsável. Nenhum desses elementos, isoladamente, garante a verdade; juntos, tornam a manipulação mais difícil e a contestação mais verificável.
Desarmar a IA, aqui, significa reduzir o poder estratégico da dúvida fabricada. O objetivo não é restaurar ingenuamente o antigo “ver para crer”, mas construir condições para distinguir dúvida legítima de negação oportunista. Em uma sociedade cercada por conteúdo sintético, confiança não pode depender apenas da aparência — nem ser abandonada ao cinismo. Ela precisa de processos, instituições e pessoas capazes de verificar, explicar e responder.
4. O que não pode ser delegado
A pergunta “o que não pode ser delegado?” não pede uma lista de tarefas proibidas à inteligência artificial. Pede um critério para decidir até onde uma organização pode usar sistemas automatizados sem abandonar responsabilidades humanas. Gerar conteúdo, comparar padrões, organizar evidências ou sinalizar anomalias pode ser tecnicamente delegável. Autorizar o uso da identidade de alguém, definir o significado de uma evidência, decidir sobre consequências e reparar um dano não pode desaparecer dentro de um fluxo automatizado.
O ensaio de Simone Pfliegel oferece um ponto de partida: quanto mais um resultado se transforma em afirmação com consequências sobre uma pessoa identificável, maior deve ser a exigência de decisão, explicação e responsabilidade humanas. Seu contexto original é educacional; a aplicação aos deepfakes é uma transposição que assumo neste artigo. Um sistema pode indicar sinais de manipulação. Mas classificar alguém como autor de fraude, retirar-lhe credibilidade, aplicar sanção ou publicar uma acusação produz efeitos que exigem julgamento contextual e um responsável reconhecível.
A reflexão de Filippo Carpenedo acrescenta outro alerta: fluência formal não comprova compreensão, originalidade ou legitimidade. No campo das identidades sintéticas, a equivalência é direta. Um rosto coerente, uma voz familiar e uma narrativa bem construída podem produzir aparência de autenticidade sem provar origem, consentimento ou verdade. A qualidade do resultado técnico não concede legitimidade ao uso. Tampouco a capacidade de gerar uma simulação responde se ela deveria ser criada, publicada ou empregada em uma decisão.
O texto de Maria Grazia Ferrara distingue potência de cálculo e discernimento. Sistemas podem apoiar busca, classificação e comparação; pessoas continuam responsáveis por verificar fontes, interpretar contexto, reconhecer limites e avaliar efeitos morais. Essa distinção evita confiar cegamente na saída automatizada ou rejeitar toda contribuição técnica. Governança madura define em que ponto a automação apoia o processo e em que ponto uma decisão humana fundamentada se torna obrigatória.
A contribuição de Alessandro Pizzo amplia a responsabilidade do indivíduo para a comunidade. Proteger o humano não pode depender apenas da atenção de quem recebe uma ligação, assiste a um vídeo ou suspeita de uma voz. Organizações e plataformas precisam oferecer critérios, canais, registros e capacidade de resposta. Boas intenções não bastam quando faltam meios para contestar uma falsificação, preservar evidências, conter sua circulação e acompanhar quem foi atingido. A responsabilidade é humana, institucional e compartilhada.
A Magnifica Humanitas fornece uma base humanista para essa leitura: poder técnico não equivale automaticamente a legitimidade moral. A técnica pode ampliar capacidades e, simultaneamente, produzir injustiças. Em um artigo de cibersegurança, esse princípio não substitui evidência técnica ou norma jurídica; funciona como pergunta de governança: o que se torna possível e quem assume as consequências quando essa possibilidade afeta a dignidade de alguém?
Proponho, então, uma regra aplicável: quanto maior a consequência de uma saída de IA sobre uma pessoa identificável, menor pode ser a delegação decisória e maior deve ser a rastreabilidade humana. O critério não é apenas o grau de automação, mas a combinação entre impacto, reversibilidade, assimetria de poder e capacidade de reparação. Uma sugestão interna e revisável exige controles diferentes de uma acusação pública, de um bloqueio de acesso ou de uma decisão que afete reputação, trabalho, segurança ou direitos.
Essa regra se traduz em cinco responsabilidades que não devem ser abandonadas. Consentimento: definir se imagem, voz e dados podem ser coletados e reutilizados, para qual finalidade e por quanto tempo. Contexto: compreender onde o conteúdo surgiu, como circulou e quem pode ser afetado. Decisão: atribuir a pessoas autorizadas a avaliação final em situações de alto impacto. Explicação: registrar critérios, fontes, incertezas e limites da conclusão. Reparação: remover ou conter o conteúdo quando cabível, corrigir narrativas, preservar provas, oferecer contestação e acompanhar os danos.
A Recomendação da UNESCO e os Princípios de IA da OCDE convergem ao colocar direitos humanos, supervisão, transparência, segurança e responsabilização no centro da governança. Esses referenciais não transformam valores em controles automaticamente; cabe às organizações convertê-los em papéis, alçadas, registros e respostas verificáveis.
Desarmar a IA, portanto, é retirar da automação a aparência de autoridade que ninguém assumiu. Sistemas podem apoiar o trabalho, mas não podem servir como esconderijo para decisões humanas sem autor, sem explicação e sem reparação. Dignidade deixa de ser apenas um princípio abstrato quando define quem decide, quem responde e como a pessoa afetada pode recuperar voz sobre a própria identidade.
5. Desarmar a IA por camadas
Se princípios não se transformam em capacidade operacional, permanecem vulneráveis à primeira crise. Desarmar a IA, no contexto das identidades sintéticas, não significa procurar um controle capaz de eliminar o risco. Significa construir defesa em profundidade: uma sequência de decisões, barreiras e respostas que reduza a probabilidade de abuso, limite seus efeitos e proteja a pessoa atingida. A proposta a seguir combina o NIST AI RMF, o perfil de IA generativa do NIST e o NIST CSF 2.0 com referências de privacidade, proveniência e resposta a incidentes. É uma adaptação prática, não uma garantia de prevenção nem uma lista universal de obrigações.
Governar e prevenir
A primeira camada começa antes da geração ou circulação de qualquer arquivo. A organização deve definir para que pretende usar IA, qual benefício legítimo espera obter e quais pessoas podem ser afetadas. Isso exige inventariar não apenas modelos, aplicações e fornecedores, mas também ativos de identidade: imagens, vozes, documentos, assinaturas, perfis e dados capazes de representar alguém. O NIST AI RMF organiza esse trabalho em governar, mapear, medir e administrar riscos; a LGPD acrescenta princípios de finalidade, necessidade, segurança, prevenção, transparência e prestação de contas quando há tratamento de dados pessoais. Na prática, cada caso de uso precisa de responsável, finalidade documentada, avaliação de impacto proporcional, critérios de acesso, retenção e compartilhamento, além de condições para suspender ou desativar o sistema quando o risco se tornar inaceitável.
Prevenir também significa minimizar a matéria-prima disponível para abuso. Nem toda gravação precisa ser armazenada, nem todo conjunto de dados deve ser reutilizado para treinar ou ajustar modelos. Consentimento não pode ser reduzido a uma autorização genérica, sobretudo quando imagem e voz poderão ser reproduzidas em novos contextos. Contratos com terceiros devem esclarecer usos permitidos, subcontratação, proteção dos dados, registro de alterações, comunicação de incidentes e destinação ao término da relação. Controles de acesso, segregação de funções, autenticação forte e revisão periódica de permissões diminuem tanto o abuso externo quanto o interno. Treinamento completa essa camada: pessoas precisam reconhecer que urgência, autoridade aparente e familiaridade da voz são elementos de engenharia social, não provas de autenticidade.
Verificar e detectar
Quando uma mensagem solicita dinheiro, credenciais, segredo, alteração cadastral ou decisão de alto impacto, a aparência não deve encerrar a análise. A autenticação precisa ser proporcional à consequência: confirmar por um segundo canal conhecido, retornar a ligação usando número previamente registrado, validar a solicitação com outra pessoa autorizada ou aplicar uma palavra de confirmação combinada são exemplos simples. O alerta do FBI/IC3 sobre fraudes facilitadas por IA recomenda verificação por canal independente diante de pedidos urgentes envolvendo áudio ou vídeo. O princípio vale também fora do contexto financeiro: nenhuma decisão grave sobre reputação, acesso, emprego ou segurança deveria apoiar-se apenas em um rosto na tela ou em uma voz reconhecível.
Proveniência e rotulagem acrescentam contexto. A especificação C2PA permite associar credenciais verificáveis à origem e às alterações de um ativo digital. O AI Act e a Resolução TSE n.º 23.610/2019, na redação consolidada pela Resolução TSE n.º 23.755/2026 mostram, em âmbitos distintos, como transparência e identificação de conteúdo sintético entram em respostas regulatórias. Ainda assim, esses mecanismos não são oráculos. A presença de uma credencial não prova que o conteúdo seja verdadeiro; sua ausência não demonstra falsidade; um rótulo pode ser removido, ignorado ou aplicado de modo enganoso. Detectores também devem ser tratados como sinais, e não como sentenças. Seu desempenho varia com modalidade, compressão, modelo gerador e contexto. Monitoramento maduro combina indicadores técnicos, metadados, comportamento da conta, histórico da comunicação, origem do arquivo, contexto do pedido e revisão humana, registrando incertezas e falsos positivos.
Responder e recuperar
Quando houver suspeita de mídia sintética maliciosa, a organização precisa acionar um playbook próprio ou incorporar esse cenário ao processo de incidentes. O primeiro objetivo é impedir que a urgência fabricada determine a resposta. Deve-se preservar o arquivo original, mensagens, cabeçalhos, metadados, registros de acesso, horários e decisões tomadas, mantendo cadeia de custódia compatível com a criticidade. Em paralelo, é necessário conter o impacto: interromper transações, bloquear credenciais comprometidas, isolar contas, suspender publicações automatizadas, avisar destinatários expostos e solicitar remoção ou limitação de alcance nas plataformas cabíveis. A contenção deve evitar nova vitimização; reproduzir indiscriminadamente o material para “alertar” pode ampliar o dano que se pretende reduzir.
Nenhuma área resolve esse incidente sozinha. Segurança investiga vetores, contas e evidências técnicas. Privacidade avalia dados pessoais e pessoas afetadas. Jurídico interpreta obrigações e opções aplicáveis ao caso concreto. Comunicação corrige informações sem transformar incerteza em acusação. Recursos Humanos apoia situações que envolvam trabalhadores. Liderança define prioridades, alçadas e recursos. A pessoa cuja identidade foi apropriada deve participar do processo, receber informação compreensível e dispor de um canal de contestação. Essa coordenação precisa definir previamente quem decide, quem comunica, quando escalar a autoridades ou plataformas e como registrar as razões. O NIST CSF 2.0 ajuda a conectar governança, identificação, proteção, detecção, resposta e recuperação como um ciclo, evitando que a organização trate o arquivo e abandone as consequências.
Recuperar não é apenas restaurar sistemas. Pode exigir retomar contas, corrigir cadastros, invalidar instruções falsas, comunicar parceiros, acompanhar tentativas derivadas e monitorar novas publicações. A mensagem externa deve separar o que foi confirmado, o que permanece em análise e quais ações as pessoas devem realizar. Não se deve declarar um conteúdo falso apenas porque um detector indicou alta probabilidade, nem exigir da vítima que prove sozinha a fabricação. A decisão precisa reunir evidências técnicas, contexto, registros confiáveis e revisão humana. Se houver impacto sobre pagamentos, acesso, emprego, reputação ou segurança, a recuperação deve priorizar a reversão do efeito e a proteção da pessoa, não apenas o fechamento administrativo do incidente.
Reparar e aprender
O ciclo só se completa quando a organização enfrenta o dano humano. Reparação pode envolver acolhimento, remoção ou contestação do conteúdo, correção pública proporcional ao alcance da falsificação, apoio jurídico, restauração de credenciais e acompanhamento reputacional. A resposta precisa evitar linguagem que responsabilize a vítima por ter sido imitada, exposta ou enganada. Também deve reconhecer que o silêncio institucional pode prolongar o dano: enquanto áreas discutem quem é responsável, a falsificação continua circulando e a pessoa real perde controle sobre sua própria narrativa.
Depois da contenção, a análise de lições aprendidas deve perguntar não apenas como o conteúdo foi produzido, mas por que encontrou um caminho confiável para causar efeito. Havia excesso de dados disponíveis? Uma aprovação dependia de uma única voz? Faltava canal independente? Um fornecedor podia reutilizar material sem supervisão? A comunicação de crise estava preparada? As respostas alimentam revisão de inventários, contratos, permissões, procedimentos e treinamentos. Indicadores também precisam refletir o ciclo inteiro: tempo para confirmar, conter, alertar e reparar; falsos positivos; reincidência; alcance da correção; e percepção da pessoa afetada sobre o atendimento recebido. Medir apenas quantos arquivos foram classificados confunde atividade técnica com redução de dano. Exercícios de mesa podem simular um pedido urgente atribuído a um executivo, uma falsa declaração pública ou a apropriação da imagem de uma trabalhadora, sempre como hipóteses. O objetivo é testar decisões, comunicação e cuidado, não apenas a ferramenta de detecção.
Essa arquitetura em camadas transforma princípios em capacidade organizacional. Governança reduz exposição; verificação cria fricção contra a fraude; detecção reúne sinais; resposta contém; recuperação restaura; reparação devolve centralidade à pessoa; aprendizagem corrige o sistema. Nenhuma camada é infalível e nenhuma autoriza a delegação integral do julgamento. Juntas, porém, retiram da mídia sintética parte de seu poder: a opacidade deixa de encontrar processos despreparados, e a pessoa real deixa de enfrentar sozinha a máquina, a plataforma e a instituição.
6. Evidências verificáveis: Brasil e cenário internacional
O debate sobre deepfakes já deixou de ser apenas uma hipótese sobre o futuro. Normas, padrões técnicos, alertas operacionais e estudos experimentais mostram que o problema produz respostas concretas. Essas fontes, porém, não têm a mesma natureza. Uma regra eleitoral brasileira não vale automaticamente para uma empresa; um regulamento europeu não se torna obrigação universal; um padrão voluntário não decide o que é verdadeiro; e um alerta policial não mede prevalência. A evidência se fortalece quando cada fonte é usada dentro de seu alcance.
No Brasil, a Resolução TSE n.º 23.610/2019, na redação consolidada pela Resolução TSE n.º 23.755/2026, oferece um exemplo regulatório específico. As regras centrais foram introduzidas pela Resolução n.º 23.732/2024 e permanecem na disciplina atual: na propaganda eleitoral, o uso de conteúdo sintético multimídia gerado por inteligência artificial deve ser informado de modo explícito, destacado e acessível, conforme o formato da peça; também é proibido o uso de deepfake em áudio, vídeo ou combinação de ambos para favorecer ou prejudicar candidatura, mesmo quando exista autorização. A norma prevê consequências eleitorais e medidas de remoção nas situações definidas em seu texto. Seu alcance precisa ser respeitado: trata-se de disciplina da propaganda eleitoral, não de uma lei geral sobre deepfakes aplicável, por si só, a relações corporativas, familiares ou educacionais.
Na União Europeia, o artigo 50 do AI Act adota uma frente específica de transparência. Provedores de sistemas que geram conteúdo sintético devem viabilizar marcações detectáveis por máquina, enquanto responsáveis pela implantação de sistemas que criam ou manipulam imagem, áudio ou vídeo caracterizados como deepfake devem informar que o material foi artificialmente gerado ou alterado, observadas as exceções do regulamento. O artigo aplica-se desde 2026-08-02. Para determinados sistemas colocados no mercado antes dessa data, as orientações oficiais da Comissão Europeia indicam uma transição específica até 2026-12-02. Não é uma proibição geral: trata-se de obrigação regulatória no âmbito europeu, com sujeitos, condições e exceções próprios.
No campo técnico, a especificação C2PA 2.4 permite associar credenciais à origem e às alterações de um ativo digital. A proveniência pode registrar como o conteúdo foi criado, o que mudou e quais etapas foram acrescentadas ao histórico, oferecendo sinais verificáveis de autenticidade. Sua adoção, contudo, é voluntária. Uma credencial válida não comprova que a afirmação contida no arquivo seja verdadeira; a ausência da credencial também não prova falsificação. C2PA fortalece rastreabilidade, mas não substitui contexto, investigação nem julgamento humano.
O alerta do FBI/IC3 documenta uma dimensão operacional: criminosos utilizam áudio e vídeo gerados por IA para personificar familiares, executivos, autoridades e contatos de confiança em esquemas de fraude. O comunicado menciona pedidos urgentes, tentativas de acesso a contas, videochamadas com falsos representantes e materiais promocionais enganosos. Entre as recomendações, estão confirmar a identidade por um canal independente e combinar uma palavra ou frase secreta com familiares. O documento demonstra padrões de abuso e medidas defensivas; não fornece uma taxa global de ocorrência e não autoriza transformar seus exemplos em estatísticas brasileiras.
Os estudos acadêmicos acrescentam evidência sobre percepção. O estudo de Vaccari e Chadwick mostrou, em um experimento político no Reino Unido, que vídeos enganosos podem aumentar incerteza e, por essa via, reduzir a confiança em notícias nas redes sociais, mesmo quando a maioria não aceita diretamente a falsidade. A pesquisa de Groh e coautores reuniu cinco experimentos pré-registrados e encontrou diferenças de discernimento conforme modalidade, contexto e origem do áudio. Conteúdos com voz produzida por sistemas de texto para fala foram mais difíceis de distinguir do que versões com atores, enquanto pistas audiovisuais ajudaram em algumas condições. Nenhum resultado autoriza concluir que seres humanos sempre percebem a fraude ou que uma modalidade é universalmente segura.
Em conjunto, essas evidências sustentam uma resposta em camadas. Regulação pode exigir transparência ou proibir usos definidos; proveniência pode registrar origem e alterações; alertas podem orientar verificação; experimentos podem revelar limites da percepção. Nenhum elemento isolado resolve autenticidade, intenção, responsabilização e reparação. A resposta exige combinar regras, técnica, processos e discernimento, sem ampliar uma fonte além do que ela efetivamente demonstra.
7. Inovação ou excesso de controle?
Há uma objeção legítima a esta proposta: controles demais podem retardar inovação, elevar custos e transformar qualquer uso de inteligência artificial em um processo burocrático. Pequenas organizações talvez não disponham de equipes especializadas. Exigir autorização, rotulagem, proveniência, revisão humana e resposta estruturada em todas as situações também pode bloquear usos criativos, educativos ou experimentais de baixo risco. Regras rígidas podem envelhecer rapidamente e incentivar conformidade apenas documental.
Levar esse argumento a sério é importante porque governança ruim também produz dano. Um controle sem relação com o risco consome recursos, transfere responsabilidade para formulários e pode criar uma falsa sensação de segurança. A resposta, portanto, não é supervisionar cada uso da mesma maneira, nem impedir a criação de conteúdo sintético. É aplicar proporcionalidade. Uma simulação claramente identificada, reversível e restrita a um ambiente de teste não exige o mesmo tratamento de um vídeo publicado em nome de outra pessoa, de uma ordem executiva ou de uma evidência usada para decidir acesso, emprego ou reputação.
O NIST AI RMF permite organizar essa diferenciação a partir do contexto, das pessoas afetadas e das consequências previsíveis. A Recomendação da UNESCO e os Princípios de IA da OCDE conectam inovação confiável a direitos humanos, transparência, segurança e responsabilização. Esses referenciais não pedem controle absoluto; pedem que capacidade técnica seja acompanhada por critérios e responsáveis. A defesa em profundidade segue a mesma lógica: controles leves para impactos baixos; consentimento, autenticação, rastreabilidade, revisão e resposta mais fortes quando aumentam a irreversibilidade, a assimetria de poder e o potencial de dano.
Transparência e proveniência ilustram esse equilíbrio. O AI Act estabelece obrigações específicas dentro de seu âmbito, enquanto a C2PA oferece um padrão voluntário para registrar origem e alterações. Nenhum deles elimina manipulação ou transforma uma marca em prova de verdade. Ainda assim, ambos mostram que é possível incorporar informação sobre o conteúdo sem proibir sua criação. A governança madura combina esses recursos com educação, verificação por múltiplos sinais e decisão humana proporcional ao impacto.
Inovação sustentável depende de confiança. Pessoas, clientes, trabalhadores e instituições adotam tecnologias quando conseguem compreender seu uso, contestar erros e identificar quem responde pelas consequências. Controles bem desenhados não são o oposto da inovação; são parte da infraestrutura que permite ampliá-la sem tornar alguém descartável. O verdadeiro excesso não está em exigir responsabilidade, mas em tratar toda proteção como obstáculo — até que o custo do dano seja pago pela pessoa cuja identidade foi usada. Desarmar a IA não é escolher entre avanço e controle. É criar condições para que o avanço permaneça legítimo, corrigível e humano.
8. A pessoa real atrás da identidade sintética
Voltemos à pergunta que abriu este artigo: se uma voz, uma imagem ou um vídeo aparentemente autênticos podem ser fabricados, em que devemos confiar? A resposta não está em abandonar toda mediação digital nem em presumir que cada conteúdo é falso. Está em reconhecer que, por trás de qualquer identidade sintética, existe uma pessoa real — ou uma comunidade — sujeita a consequências que não são simuladas.
A tecnologia pode reproduzir traços do rosto, inflexões da voz, gestos e estilos de linguagem. Não pode, porém, oferecer o consentimento da pessoa imitada, assumir responsabilidade moral pelo uso da representação, explicar o dano a quem foi atingido nem reparar reputação, segurança financeira, vínculos profissionais ou confiança social. Essas tarefas permanecem humanas e institucionais. É por isso que a pergunta decisiva não é apenas “este conteúdo é verdadeiro?”, mas também “quem responde pelo que acontece quando ele é aceito, divulgado ou usado para decidir?”
Nesse cenário, não é aceitável exigir que a vítima prove, sozinha, que foi falsificada. Organizações e plataformas detêm ou podem preservar registros, canais, credenciais, mecanismos de distribuição e parte relevante das evidências. Devem, portanto, oferecer procedimentos acessíveis de contestação, preservar dados úteis à apuração, interromper rapidamente efeitos potencialmente danosos e coordenar respostas entre segurança, privacidade, jurídico, comunicação e negócio. A responsabilidade não pode desaparecer na mesma velocidade com que o conteúdo é compartilhado.
Antes da falsificação, proteger significa reduzir exposições desnecessárias, obter consentimento, reforçar autenticação e definir critérios para decisões sensíveis. Durante o incidente, significa verificar por mais de um canal, suspender consequências irreversíveis, preservar evidências e comunicar sem ampliar o dano. Depois, significa remover ou sinalizar o conteúdo, restaurar acessos, apoiar a recuperação da reputação e da confiança, acolher a pessoa afetada, aprender com o caso e ajustar controles. Nenhuma dessas medidas elimina o risco; juntas, evitam que a vítima seja tratada como um problema operacional a ser administrado à distância.
Proteger a pessoa real também preserva a qualidade da comunicação pública. Quando contestar uma falsificação é difícil, caro ou lento, o dano particular se converte em desconfiança coletiva. Canais claros, evidências preservadas e reparação tempestiva ajudam a sustentar direitos, debate democrático e convivência sem transformar todos em suspeitos permanentes.
“Disarmare l’IA”, nesse sentido, não é retirar a tecnologia da sociedade. É retirar do abuso a vantagem da opacidade, da velocidade sem freios e da responsabilidade fragmentada. A maturidade não será medida apenas pela capacidade de identificar o falso, mas pela disposição de proteger a pessoa real antes, durante e depois da falsificação. A inovação continua; o abandono da pessoa, não.
Referências
BRASIL. Constituição da República Federativa do Brasil de 1988. Brasília, DF, 1988.
BRASIL. Lei n.º 10.406/2002 (Código Civil). Brasília, DF, 2002.
BRASIL. Lei n.º 13.709/2018 (Lei Geral de Proteção de Dados Pessoais). Brasília, DF, 2018.
COALITION FOR CONTENT PROVENANCE AND AUTHENTICITY. C2PA Technical Specification 2.4. 2026.
FERRARA, Maria Grazia. Custodire il discernimento ai tempi degli algoritmi. Culture Digitali, 2026.
ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. OECD AI Principles. Atualização de 2024.
PAPA LEÃO XIV. Magnifica Humanitas. Santa Sé, 2026.
UNESCO. Recommendation on the Ethics of Artificial Intelligence. Paris, 2021.
Sobre a autora
Jéssica Gessoli atua na interseção entre governança de cibersegurança, riscos cibernéticos, continuidade de negócios, recuperação de desastres, SecOps, infraestrutura crítica e resiliência de TI/OT. Seu trabalho com inteligência artificial concentra-se em governança, riscos, controles, segurança, resiliência e tradução de impactos técnicos para decisões de negócio. Desenvolve reflexões e soluções práticas voltadas ao uso responsável da tecnologia, à proteção da identidade digital e à conexão entre risco técnico, dignidade humana e responsabilidade organizacional.