Uma cena gerada pode tornar-se uma fotografia captada por uma câmara sem passar a representar um acontecimento real. Este exemplo desconfortável ajuda a perceber porque são os erros de deteção mais variados do que uma simples incapacidade de reconhecer IA.
Mostre uma imagem gerada num ecrã e fotografe-a. O ficheiro resultante passou por uma lente e um sensor. Mas a cena representada continua a ter origem num gerador. Qual destas origens deve o detetor indicar?
Antes de avaliar a resposta, defina a pergunta. Geração integral, captura fotográfica, edição generativa localizada e verdade factual são propriedades diferentes. Um sistema avaliado para uma pode estar mal preparado para responder a outra.
O percurso altera a evidência disponível
O estudo RRDataset, de Li e colegas, compara imagens originais, versões transmitidas e versões redigitalizadas. A redigitalização inclui digitalização com scanner e recaptura fotográfica de impressões, ecrãs e projeções. Os resultados mostram que a robustez depende tanto do detetor como do percurso da imagem. [1]
Para o DIRE, a Tabela 2 apresenta 89,72% dos originais gerados corretamente detetados, 90,34% depois da transmissão e 1,42% depois da redigitalização. São taxas de deteção da classe sintética no protocolo dos autores, com médias de três ensaios. Não são precisão global, e o último valor não descreve apenas fotografias de ecrãs.
O contraste é tão relevante como a descida acentuada. O DIRE manteve-se relativamente estável na transmissão. Para o AIDE, as taxas correspondentes foram 78,95%, 74,72% e 76,04%. O estudo não permite concluir que todas as transformações derrotam todos os detetores.
Um ecrã, uma impressão e uma nova captura podem alterar pormenores finos e relações entre píxeis. É um mecanismo plausível para enfraquecer alguns sinais e introduzir outros. Não isola a causa de cada erro. A publicação apresenta resultados; uma animação explicativa não deve fingir que mostra a característica exata que desapareceu.
Compressão, redimensionamento e capturas de ecrã são testes diferentes
A compressão JPEG altera informação através de codificação com perdas. O redimensionamento muda a amostragem espacial. Uma captura de ecrã pode envolver apresentação, escala e nova exportação. Fotografar um ecrã acrescenta um processo de captura ótica. Chamar «compressão» às quatro operações esconde aquilo que foi efetivamente testado.
Também seria enganador presumir que cada operação aproxima sempre o resultado da classe fotográfica. O efeito pode variar com o modelo, a imagem e as definições. Um teste de robustez útil regista a sequência e compara os ficheiros transformados com os respetivos originais.
Num piloto de investigação anterior do ImageSignals, as imagens transformadas foram comparadas com os respetivos originais, incluindo uma rasterização que simula certos efeitos de uma captura de ecrã. Essa simulação não deve ser apresentada como teste de todas as capturas reais nem de recaptura física. Estas experiências são independentes do RRDataset; não são usados aqui resultados de desempenho desse piloto. A metodologia explica os limites gerais das ferramentas. [7]
Os falsos positivos exigem fotografias tão bem escolhidas como as imagens geradas
Definindo as imagens geradas como classe positiva, um falso positivo é uma fotografia assinalada como gerada. Um falso negativo é uma imagem gerada que não recebe essa indicação. Estas definições dependem da política de rótulos; as imagens de origem mista precisam de tratamento próprio.
Porque pode uma fotografia ser assinalada? Pode conter padrões que se sobrepõem à distinção aprendida. A fonte ou o histórico de processamento podem diferir dos exemplos fotográficos do treino. São mecanismos possíveis, não um diagnóstico de uma imagem concreta.
Depois de observar um erro, é tentador atribuí-lo a luz dramática, nitidez ou textura invulgar. Sem testar a causa, essa explicação é especulação. Uma região que chama a atenção humana não demonstra que o modelo a usou.
A avaliação precisa, por isso, de diversidade fotográfica e de diversidade de geradores. Um conjunto de fotografias limpas e familiares pode subestimar falsos alarmes nos ficheiros que os utilizadores realmente enviam. Investigação centrada nos dados, como o B-Free, aborda alguns destes fatores de confusão; nenhum procedimento elimina todos. [6]
Uma pequena região gerada pode ser outro problema
Suponha que uma fotografia contém um objeto substituído por edição generativa. Um rótulo global diz pouco sobre a localização da alteração ou sobre quanto da história do ficheiro envolve geração. Um classificador preparado para imagens totalmente geradas também pode não ter sido avaliado nesse tipo de edição.
O projeto Semi-Truths estuda imagens modificadas por IA e encontra variações com as técnicas de edição, as distribuições de imagens e o detetor escolhido. Os resultados não sustentam uma regra simples como «as pequenas alterações passam sempre despercebidas». [2]
Existe ainda um problema de cobertura da entrada. Um recorte pode excluir a região alterada. Os investigadores do Semi-Truths ajustaram explicitamente os recortes com máscaras conhecidas para evitar essa exclusão. Não podemos explicar os seus erros fingindo que ignoraram o problema. Numa imagem desconhecida, a máscara correta da edição normalmente não está disponível.
Esta distinção muda a formulação de um resultado útil. «Não foi detetado um sinal de geração da imagem completa» não significa «não existe nenhum pormenor gerado». Um mapa de calor também precisa de validação antes de ser chamado mapa de manipulação. Visualizar a sensibilidade do modelo não é automaticamente localizar uma edição.
Por vezes, a ordenação funciona e o limiar falha
Um detetor pode atribuir pontuações superiores aos exemplos sintéticos e, ainda assim, produzir rótulos errados num limiar fixo. A qualidade da ordenação e a qualidade da decisão são medidas diferentes.
Epstein e colegas apresentam um exemplo na sua avaliação cronológica de geradores: a condição GLIDE obteve AUC perfeita, mas apenas 15% de acertos na classe sintética na regra de decisão discutida. É um resultado de uma condição experimental concreta, não uma afirmação sobre todas as imagens GLIDE ou sobre um serviço atual. [3]
Imagine dois grupos de pontuações ilustrativas. Todas as fotografias ficam abaixo de todas as imagens sintéticas, mas o limiar de utilização fica acima da maioria dos dois grupos. A ordenação separa as classes; o limiar deixa passar muitos exemplos sintéticos. Movê-lo poderia ajudar nesses dados.
Essa solução tem limites. Um limiar não recupera uma região excluída pelo recorte. Não recria informação perdida na captura. E escolhê-lo depois de consultar os rótulos do teste final exageraria o desempenho independente. O desenvolvimento do limiar e a avaliação precisam de evidências separadas.
Confiança não demonstra que o teste se aplica
A calibração diz respeito à fiabilidade em grupos de previsões. Um modelo pode estar bem calibrado em dados de validação familiares e tornar-se menos fiável quando muda a distribuição da entrada. Ovadia e colegas demonstram este problema mais amplo em experiências de classificação; o trabalho não fornece uma taxa de falsos positivos para o ImageSignals. [4]
Um único erro confiante não prova má calibração. Mesmo um grupo com probabilidades elevadas e fiáveis admite erros ocasionais. A questão é como se comportam as previsões em imagens comparáveis cuja origem tenha sido estabelecida de forma independente.
A prevalência introduz outra diferença. Considere um conjunto hipotético de 10 000 imagens com 100 exemplos gerados. Com deteção de 95% desses exemplos e uma taxa de falsos positivos de 2% nas fotografias, esperaríamos 95 deteções corretas e 198 falsos alarmes. Só cerca de 32,4% das imagens assinaladas seriam geradas.
São pressupostos inventados para uma conta transparente, não medições de um detetor. Mostram que «poucas fotografias são mal assinaladas» e «a maioria das indicações está correta» não são afirmações equivalentes. A precisão das indicações positivas depende também da prevalência.
O progresso precisa de ser testado nos percursos certos
Estes limites não tornam a deteção inútil. O Community Forensics apresenta melhorias de transferência através de uma cobertura mais ampla de geradores. É um resultado encorajador nas avaliações realizadas. Não dispensa testes separados de fontes fotográficas, transmissão, recaptura e edição localizada. [5]
Ao examinar um resultado, registe o que sabe sobre o percurso do ficheiro. É uma exportação original, uma republicação, uma captura de ecrã ou uma fotografia de um ecrã? A tarefa inclui edições locais? O detetor foi testado em condições semelhantes? Quando não houver resposta, mantenha essa informação como desconhecida.
As ferramentas podem ajudar. A pesquisa de regiões do ImageSignals localiza possíveis correspondências para um objeto indicado dentro da imagem enviada; não recupera cópias anteriores na web. A deteção de objetos e a descrição de imagem ajudam a organizar o conteúdo visível, mas não certificam a origem. O seu valor é apoiar a inspeção e ajudar a formular melhores perguntas. Encontrar publicações anteriores exige uma investigação independente das fontes.
Uma conclusão útil tem limites claros
Uma resposta errada pode resultar de evidência ausente, de uma distribuição desconhecida, de um limiar inadequado ou de um desencontro entre a tarefa e o rótulo. São falhas que exigem respostas diferentes. Dizer apenas que «o detetor foi enganado» esconde essa diferença.
Regresse à fotografia da cena gerada. A câmara era real. A cena representada foi inventada. Uma avaliação útil tem de dizer qual destes factos o detetor deveria identificar — e demonstrar que o consegue fazer em ficheiros com aquele percurso.
Experimente o detetor de imagens geradas por IA e interprete o resultado em conjunto com o histórico disponível e a metodologia.
Ver o vídeo
Why AI Detectors Get It Wrong · ImageSignals · 4:56 · vídeo em inglês.
Este artigo parte da investigação desenvolvida para a série de vídeos do ImageSignals e aprofunda-a num formato pensado para leitura.
Fontes e leituras adicionais
- Li et al., Bridging the Gap Between Ideal and Real-world Evaluation, ICCV 2025, §3.3.2 e Tabela 2.
- Pal et al., Semi-Truths, NeurIPS 2024 Datasets and Benchmarks, experiências e Apêndice C.1.
- Epstein et al., Online Detection of AI-Generated Images, ICCV Workshops 2023, §3.3 e Figura 2.
- Ovadia et al., Can You Trust Your Model's Uncertainty?, NeurIPS 2019.
- Park e Owens, Community Forensics, CVPR 2025, §4.3.
- Guillaro et al., B-Free, CVPR 2025.
- ImageSignals, Metodologia e transparência. O piloto anterior aqui descrito é independente dos estudos citados; nenhuma experiência foi repetida para este artigo.