Um modelo de visão computacional pode não encontrar um animal presente na imagem, desenhar uma caixa à volta de vegetação ou localizar o animal certo e dar-lhe o nome errado. São falhas diferentes. Para interpretar o resultado, precisamos de saber a que pergunta o sistema deveria responder.
Na fotografia que abre o vídeo do ImageSignals The Lizard The AI Couldn't See está um lagarto da espécie Tiliqua rugosa. O exemplo vem de um estudo de campo australiano de Pestell e colegas. A Figura 3 documenta um falso negativo: o MegaDetector não encontrou o lagarto. Outro painel mostra o erro contrário, com vegetação assinalada como animal. A figura inclui também exemplos de contagem por defeito e por excesso. [1]
É um caso concreto com uma fonte documentada, não uma imagem escolhida apenas para ridicularizar um modelo. Estes erros coexistem com bons resultados agregados de deteção naquela avaliação. Nem a fotografia nem o estudo estabelecem a causa exata daquela falha individual. Atribuí-la a camuflagem, a um atalho de textura ou à falta de répteis no treino iria além da evidência disponível.
A lição mais útil está na sequência de decisões entre uma fotografia e o nome de uma espécie. A caixa e o nome precisam de evidências próprias.
Encontrar um animal e identificá-lo são tarefas diferentes
A deteção de objetos pergunta onde está um alvo e, frequentemente, a que categoria geral pertence. A classificação atribui um rótulo a uma imagem ou a uma região selecionada. Um fluxo comum nas câmaras de monitorização de fauna usa um detetor para localizar os animais e entrega os recortes a um classificador de espécies. É uma abordagem, não a arquitetura de todos os sistemas de fauna.
A documentação do MegaDetector esclarece a sua função: localiza animais, pessoas e veículos; não identifica espécies. Uma caixa com a categoria «animal» não deve, por isso, ser lida como identificação de espécie. Um classificador separado pode usar essa região para produzir uma previsão mais específica. [2]
Imagine uma caixa corretamente desenhada à volta de um cervídeo. A localização pode ser útil mesmo que a etapa seguinte confunda a espécie. No sentido contrário, um bom classificador de espécies não consegue analisar um recorte que o detetor nunca produziu. Num percurso que depende apenas desses recortes, a falha ocorre antes de a classificação ter oportunidade de ajudar.
Esta distinção também evita uma conclusão injustificada sobre a abertura do vídeo. O lagarto não encontrado demonstra um erro de deteção. Não demonstra que um classificador de espécies tenha analisado o animal e confundido a sua identidade.
Porque pode ajudar um recorte — e de que depende
Um animal distante pode ocupar uma pequena parte de uma fotografia de grandes dimensões. Quando toda a cena é reduzida à dimensão de entrada do classificador, o animal passa a ocupar uma região ainda menor. Recortá-lo primeiro pode reservar-lhe uma parte maior da entrada. Isso conserva mais do pormenor disponível durante esse redimensionamento; não cria informação ausente no original.
Gadot e colegas compararam abordagens com imagens completas e com recortes em To crop or not to crop. Na Tabela 6, a condição de teste LILA sem filtragem apresenta F1 macro médio global de 0,455 para o classificador de imagens completas e de 0,576 para o classificador de recortes. São valores de F1, não percentagens de fotografias corretamente identificadas. A diferença absoluta é de 0,121 na escala de F1. [3]
O F1 macro médio atribui o mesmo peso a cada classe avaliada. A interpretação difere da taxa global de acerto e de uma média ponderada pela frequência das classes. O resultado pertence à política de rótulos, aos dados e ao processo de avaliação do estudo; não estima o desempenho do ImageSignals nem promete que recortar melhora sempre o reconhecimento.
O recorte altera o fundo e a representação do animal. A comparação não isola quanto da melhoria veio do pormenor do primeiro plano e quanto veio da redução das pistas do fundo. Apoia a abordagem testada, não uma explicação universal da melhoria.
Mantém-se uma dependência: o recorte produzido pelo detetor precisa de existir e conter o animal relevante. É importante avaliar o processo desde os ficheiros originais, incluindo as falhas de deteção, em vez de apresentar apenas a classificação dos recortes bem-sucedidos. Também se podem testar percursos com imagens completas ou combinações das duas abordagens; a utilidade precisa de ser demonstrada para a tarefa escolhida.
Uma caixa correta não recupera informação perdida
Mesmo um recorte bem escolhido pode não conter a evidência necessária para distinguir espécies próximas. Uma marca característica pode ficar escondida por um ramo, perder-se no arrastamento do movimento ou não ter resolução suficiente à distância disponível. As imagens noturnas por infravermelhos também podem não preservar informação de cor visível usada numa identificação diurna.
Welbourne e colegas apresentam um exemplo fotográfico útil. Nos seus ensaios com câmaras de monitorização, duas espécies semelhantes de Lampropholis puderam ser distinguidas com a distância de focagem modificada; a configuração normal não fornecia pormenor suficientemente nítido. Foi um estudo de captura e identificação, não um ensaio de classificação por IA. [4]
A consequência prática está na aquisição da evidência: outra fotografia ou melhor focagem pode ajudar onde trocar de classificador não resolve o problema. Ampliar um recorte facilita a inspeção, mas não demonstra que uma textura que parece agora visível seja uma característica diagnóstica autêntica. Um rótulo mais específico só se justifica quando a informação disponível e o método o sustentam.
Porque pode uma taxa de acerto de 90% esconder a falha que interessa
Considere um teste deliberadamente hipotético com 900 fotografias de uma espécie comum e 100 de uma espécie rara. Um modelo que prevê sempre a espécie comum obtém 90% de acertos. O seu recall para a espécie rara é zero. A conta está correta; o valor em destaque diz muito pouco sobre a utilidade para encontrar o animal raro.
Este exemplo não é um resultado do estudo do lagarto. Ilustra a importância da distribuição dos rótulos de teste. Um projeto de conservação pode estar especialmente interessado na espécie que menos contribui para a média global.
Schneider e colegas estudaram o desempenho por classe, a dimensão dos conjuntos de treino e o teste em locais novos num trabalho com imagens de fauna. Os resultados mostram porque merecem algumas classes pouco representadas atenção particular, sem estabelecer um número mínimo de imagens que garanta reconhecimento fiável de todas as espécies. [5]
Uma avaliação útil inclui recall e precisão por espécie, número de exemplos e matriz de confusão. O recall pergunta quantos exemplos verdadeiros foram encontrados ou corretamente rotulados. A precisão pergunta quantas previsões de uma categoria estavam corretas. É necessário indicar a tarefa e o denominador: deteção de animais e classificação de espécies não partilham uma taxa de sucesso intercambiável.
O processo completo precisa do seu próprio denominador
Suponha que outra coleção hipotética contém 100 imagens com animais. O detetor encontra 75. O classificador atribui a espécie correta a 60 desses 75 recortes. A taxa de acerto da classificação nos animais detetados é de 80%, mas a identificação correta de espécie nas 100 imagens originais é de 60%.
As 25 falhas de deteção não desapareceram da tarefa real por estarem ausentes do conjunto de recortes. São contagens ilustrativas, não medições nem estimativas dos resultados dos estudos. Mostram porque deve a avaliação separada das etapas ser acompanhada pela avaliação do processo completo.
A dependência inversa também conta. As falsas deteções podem enviar vegetação ou outras regiões sem animais para um classificador de espécies. O sistema precisa de uma forma de rejeitar ou assinalar essas entradas; um nome de espécie confiante não é uma confirmação independente de que o detetor encontrou um animal.
Um local conhecido não representa o mundo inteiro
As imagens de uma câmara fixa podem partilhar fundos, perspetivas e iluminação. Uma divisão aleatória das imagens pode colocar condições muito semelhantes no treino e no teste. O sucesso nessas condições não resolve o desempenho num local desconhecido.
O estudo Recognition in Terra Incognita, de Beery, Van Horn e Perona, avalia explicitamente o reconhecimento entre locais e documenta a dificuldade de generalizar para ambientes novos. O MLWIC2, de Tabak e colegas, apresenta tanto transferências bem-sucedidas como variação considerável entre conjuntos externos. Locais novos não derrotam inevitavelmente todos os modelos, mas a transferência precisa de ser verificada. [6, 7]
Numa aplicação à fauna, uma avaliação informativa inclui locais reservados para teste e condições relevantes para o levantamento real. Um resultado em fotografias diurnas de locais conhecidos não é automaticamente evidência para imagens noturnas de outro habitat. Os rótulos também precisam de abranger as espécies ou categorias gerais que se espera que o sistema apresente.
Escolher o nível de resposta que a evidência permite
Por vezes, a resposta útil é «animal presente», «lagarto» ou um grupo taxonómico mais amplo, mantendo a espécie por identificar. É uma decisão de desenho do processo que precisa de validação própria, não uma afirmação de que todos os modelos conseguem reconhecer a sua incerteza.
Mantenha disponíveis o original, a região selecionada e o rótulo previsto. Inspecione algumas imagens classificadas como vazias, além das deteções positivas: rever apenas as imagens assinaladas não revela os animais totalmente ignorados. Quando um registo de espécie rara é importante, outra fotografia, uma sequência ou a revisão por um especialista pode ser mais útil do que pedir repetidamente um nome mais confiante.
A deteção de objetos, a pesquisa de regiões e a descrição de imagem do ImageSignals podem apoiar a inspeção do conteúdo visível dentro das suas capacidades. Estas ferramentas gerais não são apresentadas aqui como classificadores de espécies de fauna validados, e os estudos citados não avaliaram o ImageSignals. Identificar o conteúdo representado também é uma tarefa diferente de avaliar se uma imagem foi gerada por IA.
Regresse ao lagarto. A primeira pergunta era se tinha sido encontrado um animal. A seguinte seria que evidência sustentava a sua identificação. Um processo útil de classificação mantém ambas as perguntas visíveis — e mede também os casos que nunca chegam à etapa de identificação.
Ver o vídeo
The Lizard The AI Couldn't See · ImageSignals · 4:36 · vídeo em inglês.
Este artigo parte da investigação desenvolvida para a série de vídeos do ImageSignals e aprofunda-a num formato pensado para leitura. Os estudos apresentados não foram replicados de forma independente para este artigo.
Fontes e leituras adicionais
- Pestell et al., Smart camera traps and computer vision improve detections of small fauna, Ecosphere, 2025. Figura 3 e avaliação do MegaDetector.
- MegaDetector, documentação oficial, distinção entre deteção de animais e classificação de espécies.
- Gadot et al., To crop or not to crop, IET Computer Vision, 2024. Tabela 6, condição LILA sem filtragem.
- Welbourne et al., Improving Terrestrial Squamate Surveys with Camera-Trap Programming and Hardware Modifications, Animals, 2019. Secção 3.2.2 e Figura 7.
- Schneider et al., Three critical factors affecting automated image species recognition performance for camera traps, Ecology and Evolution, 2020.
- Beery, Van Horn e Perona, Recognition in Terra Incognita, ECCV 2018.
- Tabak et al., MLWIC2: Improving accessibility and transferability, Ecology and Evolution, 2020.