Publicações

Evaluation of High-Frequency Information for Deepfake Detection Using a CNN–ViT Architecture in a Cross-Dataset Scenario

Autores: Erikson E. Ferreira, Samla A. Tavares, Kelly S. A. Gazzoli, Karin S. Komatti

SIBGRAPI • 2026

Com o avanço das técnicas de aprendizado profundo (deep learning), a produção de mídias deepfake tornou-se cada vez mais sofisticada, dificultando a sua detecção. Um dos principais desafios é a baixa capacidade de generalização dos modelos, que frequentemente apresentam queda de desempenho em cenários diferentes daqueles utilizados no treinamento. Este trabalho investiga o uso de filtros de alta frequência, especificamente *Spatial Rich Models* (SRM) e Sobel, integrados à arquitetura CrossViT para aprimorar a detecção de deepfakes* Os modelos foram treinados em um subconjunto do conjunto de dados Deepfake Detection Challenge (DFDC) e avaliados tanto em cenários de mesmo conjunto de dados (DFDC) quanto em cenários de conjuntos de dados distintos (cross-dataset: Celeb-DF v2 e FaceForensics++). Os resultados indicam que os filtros de alta frequência melhoram consistentemente o desempenho dos métodos; o filtro SRM aplicado ao ramo L (L-Branch) obteve as melhores métricas no cenário DFDC (AUC de 0,847) e no cenário Celeb-DF v2 (AUC de 0,755), enquanto o fornecimento de imagens filtradas por SRM a ambos os ramos da CrossViT alcançou o melhor resultado no conjunto FaceForensics++ (AUC média de 0,755).