Um detetor pode dar uma resposta sem saber quem criou a imagem, que câmara a captou ou se a cena aconteceu. Perceber como chega a essa resposta ajuda a usar o resultado — e a reconhecer o que ele não consegue provar.
Imagine que recebe uma fotografia convincente acompanhada de um resultado: «provavelmente gerada por IA». É tentador tratar essa indicação como uma descoberta sobre a história do ficheiro. Mas um classificador visual costuma fazer algo mais limitado: compara padrões da imagem com uma distinção aprendida a partir de outras imagens.
Essa distinção pode ser informativa. Também pode falhar. A questão útil é perceber que tipo de evidência foi produzido e como se relaciona com aquilo que já sabemos.
O detetor aprende uma distinção
Na aprendizagem supervisionada, os exemplos de treino têm rótulos: fotografia, imagem gerada ou outra categoria definida pela tarefa. O processo de aprendizagem ajusta os parâmetros do modelo para reduzir os erros nesses exemplos. Na utilização habitual de um modelo fixo, o detetor aplica a regra aprendida a uma nova imagem; não recebe o rótulo correto dessa imagem.
A regra não tem de se assemelhar à observação humana. Uma pessoa pode procurar um reflexo impossível ou letras deformadas. Um modelo pode usar relações estatísticas difíceis de observar a olho nu. Também pode aprender diferenças associadas aos conjuntos de dados, em vez de diferenças próprias da geração.
A investigação apresenta várias soluções. Wang e colegas treinaram um classificador com imagens geradas e fotografias. Ojha, Li e Lee estudaram a deteção com uma representação visual previamente treinada para uma tarefa mais ampla. O DIRE constrói uma representação a partir do erro de reconstrução por difusão. São abordagens diferentes, não descrições equivalentes de todos os detetores. [1, 2, 3]
Por isso, dizer que «o detetor encontrou a impressão digital da IA» pode sugerir mais conhecimento do que o resultado permite. Sem uma explicação validada para aquele modelo e aquela imagem, não sabemos necessariamente que informação determinou a decisão. A previsão pode ser útil sem revelar a sua causa específica.
A imagem enviada nem sempre é a imagem analisada
Antes da classificação visual, o ficheiro é descodificado. O processamento pode incluir redimensionamento, recorte, normalização dos valores de cor ou seleção de pequenas regiões. A sequência depende da implementação.
Suponha que uma fotografia panorâmica tem um objeto gerado perto da margem. Se o modelo analisar apenas um recorte central, esse objeto pode ficar de fora. O resultado descreve então a informação que chegou ao modelo, embora a interface mostre a imagem completa. É um exemplo hipotético de processamento, não uma afirmação sobre uma fotografia concreta.
O ficheiro original também pode conter informação que se perde antes da classificação. O princípio técnico do ImageSignals é analisar os bytes originais para recuperar metadados e proveniência antes de converter ou redimensionar. Essa inspeção tem uma finalidade diferente do pré-processamento visual. Preservar o original permite fazer ambas as perguntas sem confundir as respostas. [8]
Dos padrões à pontuação e à decisão
Muitos classificadores produzem um número que aumenta à medida que a regra aprendida favorece a classe gerada. Um limiar transforma essa pontuação num rótulo. O resultado pode mudar porque mudou a pontuação, porque mudou o limiar ou porque foi usado outro modelo.
Considere uma pontuação ilustrativa de 0,64 e um limiar de 0,60. Se a regra for «gerada a partir do limiar, inclusive», a imagem é assinalada. Com a mesma pontuação e um limiar de 0,70, deixa de o ser. Nenhuma dessas decisões acrescenta um facto sobre a criação da imagem. Mudou a regra de decisão.
Um valor entre zero e um não é automaticamente uma probabilidade fiável. A calibração avalia se as probabilidades previstas correspondem às frequências observadas em grupos de exemplos comparáveis cuja origem é conhecida. Uma pontuação isolada não demonstra essa correspondência. Guo e colegas estudaram este problema em classificação com redes neuronais; o seu trabalho não é uma auditoria à precisão do ImageSignals. [4]
Se uma interface mostrar «90%», é preciso saber se apresenta uma saída do modelo, uma pontuação transformada, uma probabilidade calibrada ou um resultado de benchmark. São coisas diferentes. Nenhuma deve passar silenciosamente a significar «90% de prova».
Quatro tipos de evidência, quatro perguntas
Classificação visual: que padrões reconhece o modelo?
Um classificador visual estima uma categoria a partir do conteúdo da imagem ou de uma representação derivada desse conteúdo. Pode funcionar sem uma declaração de origem incorporada. O seu alcance depende do treino, das condições de avaliação e do processamento de entrada. [1, 2, 3]
Metadados: o que regista o ficheiro?
Campos EXIF, XMP e outros podem indicar uma câmara, software de edição ou parâmetros de geração. Os campos comuns podem ser alterados ou removidos. O nome de uma câmara é uma pista sobre um registo no ficheiro, não um relato completo de todas as operações que produziram a cena. A ausência desses campos também é inconclusiva. [8, 9]
Proveniência assinada: que declarações podem ser validadas?
As Content Credentials usam o enquadramento C2PA para associar declarações a conteúdos e permitir verificações de integridade, ligação ao ficheiro e confiança. Validar essas propriedades pode reforçar a evidência de uma história registada. Não comprova, por si só, que o acontecimento representado é verdadeiro. Uma fotografia efetivamente captada por uma câmara pode mostrar uma encenação. [5]
Marcas de água: é detetável um sinal incorporado compatível?
Sistemas como o SynthID incorporam deliberadamente sinais que ferramentas compatíveis podem procurar. É uma operação diferente de inferir a geração a partir de padrões estatísticos aprendidos. A cobertura e a robustez têm limites; um resultado negativo precisa de ser interpretado dentro do âmbito do sistema. [6]
Estes tipos de evidência devem continuar visíveis em separado. Uma declaração nos metadados não deve ser somada à pontuação visual como se produzisse uma probabilidade mais bem calibrada. A ausência de proveniência também não deve baixar essa pontuação. As evidências podem complementar-se sem se transformarem numa conta.
Porque deixa perguntas em aberto um resultado negativo
«Não foi detetado nenhum sinal compatível» descreve o resultado de uma verificação. Não estabelece a razão da ausência. Talvez o sinal nunca tenha sido incorporado. Talvez o ficheiro esteja fora da cobertura. Talvez alguma transformação tenha afetado a deteção. Sem uma comparação controlada, o resultado não permite identificar a causa.
O vídeo original do ImageSignals inclui uma imagem sintética processada e um verificador que não deteta sinais. O registo disponível não estabelece uma verificação positiva do original, antes do processamento, em condições comparáveis. Por isso, o artigo não usa essa demonstração para afirmar que uma edição específica removeu uma marca de água.
A mesma prudência aplica-se a uma imagem classificada como fotografia. Pode ser uma fotografia ou uma imagem sintética que o modelo não reconheceu. Uma classificação positiva também pode ser um falso alarme. Os rótulos descrevem previsões; não são uma confirmação independente da origem.
Como usar o resultado na prática
Comece pela pergunta que precisa de esclarecer. «Foi gerada alguma parte?» é uma pergunta mais ampla do que «este modelo reconhece sinais de geração da imagem completa?». «Este acontecimento ocorreu?» vai ainda mais longe.
Preserve a versão mais próxima do original a que conseguir aceder. Registe o ficheiro analisado e, quando disponíveis, a versão do detetor e as condições do teste. Leia o resultado visual em conjunto com os metadados e as credenciais. Se houver discordância, registe-a; não a resolva escolhendo o rótulo que parece mais definitivo.
Depois investigue o contexto, incluindo publicações anteriores e legendas diferentes através de pesquisa independente das fontes. Dentro do ficheiro, a pesquisa de regiões do ImageSignals ajuda a localizar um objeto indicado; não pesquisa na web cópias anteriores. O texto visível pode fornecer outra pista: extraí-lo facilita a pesquisa de um nome ou de uma citação, mas o conteúdo extraído continua a precisar de verificação.
A metodologia do ImageSignals explica a separação entre os tipos de evidência e os limites da aplicação. Uma inspeção mais detalhada pode recorrer à análise avançada, interpretando cada saída de acordo com aquilo que mede.
A evidência útil pode ser incompleta
Um detetor não precisa de ser infalível para ajudar. Precisa de uma tarefa definida, de avaliação credível e de uma interpretação que respeite os seus limites. O erro está em transformar uma observação limitada num veredicto universal sobre uma imagem.
Use o resultado para decidir o que investigar a seguir. Mantenha a incerteza quando as evidências não resolvem a questão. É assim que um classificador passa a fazer parte da verificação de imagens.
Experimente o detetor de imagens geradas por IA do ImageSignals.
Ver o vídeo
Can You Still Tell What's Real? (AI Image Detection Explained) · ImageSignals · 5:06 · vídeo em inglês.
Este artigo parte da investigação desenvolvida para a série de vídeos do ImageSignals e aprofunda-a num formato pensado para leitura.
Fontes e leituras adicionais
- Wang et al., CNN-Generated Images Are Surprisingly Easy to Spot… for Now, CVPR 2020.
- Ojha, Li e Lee, Towards Universal Fake Image Detectors That Generalize Across Generative Models, CVPR 2023.
- Wang et al., DIRE for Diffusion-Generated Image Detection, ICCV 2023.
- Guo et al., On Calibration of Modern Neural Networks, ICML 2017.
- C2PA, Especificação técnica v2.3, âmbito e validação. Referência fixada, não apresentada como a versão mais recente.
- Google DeepMind, Identifying AI-generated images with SynthID, introdução técnica de 2023.
- ImageSignals, vídeo original acima; os limites da demonstração estão descritos no texto.
- ImageSignals, Metodologia e transparência: análise visual, metadados e proveniência são interpretados em separado.
- NIST, Reducing Risks Posed by Synthetic Content: An Overview of Technical Approaches to Digital Content Transparency, 2024.