Kompetisi DFDC Facebook Usai, Buktikan Betapa Sulitnya Mendeteksi Deepfake

Cyberthreat.id - Facebook mengumumkan hasil kompetisi Deepfake Facebook Detection Challenge (DFDC), sebuah kompetisi terbuka untuk menemukan algoritma yang dapat mendeteksi video deepfake. DFDC diluncurkan sejak Desember 2019 dan berhasil menarik 2.114 peserta yang mengirimkan lebih dari 35.000 model pendeteksian Deepfake.

Saat ini Deepfake mulai dimanfaatkan untuk berbagai kepentingan seperti kejahatan, fitnah, pornografi, persaingan politik, penipuan, disinformasi, dan kejahatan. Konten Deepfake beragam tetapi kebanyakan adalah audio-video.

Itu sebabnya platform raksasa seperti Facebook memasang perhatian khusus terhadap penyalahgunaan teknologi ini. Kompetensi DFDC menggandeng berbagai pihak seperti akademisi dan peneliti hingga komunitas keamanan.

"Sekarang semua tantangan telah berakhir. Kami membagikan rincian hasil dan bekerja (lebih lanjut) dengan para pemenang membantu mereka merilis kode untuk model deteksi berkinerja terbaik," tulis Facebook dilansir Social Media Today, Jumat (12 Juni 2020).

Facebook hanya akan mengambil 10 pemenang dari kompetisi DFDC. Diantara pemenang mengatasnamakan diri sebagai Selim Seferbekov, \WM/, NtechLab, Eighteen years old, The Medics, Konstantin Simonchik, All Faces Are Real, ID R&D, 名侦探柯西 dan deeeepface.

"Peserta dengan performa tertinggi adalah model yang dimasukkan oleh Selim Seferbekov."

Model algoritma pendeteksian yang dikirimkan peserta DFDC diuji dengan dataset publik sekitar 100.000 klip pendek yang berisikan video deepfake dan video asli.

Dataset publik itu bisa diakses oleh para peserta sebagai bahan untuk melatih algoritma model pendeteksian deepfake sebelum mengirimkannya ke DFDC. Facebook mengklaim model pendeteksian ini sebagai yang terbaik memiliki tingkat akurasi hingga 82,56 persen.

"Model berkinerja terbaik pada dataset publik mencapai presisi rata-rata 82,56 persen, ukuran akurasi umum dan untuk tugas-tugas visi komputer," ungkap Facebook.

Namun, ketika model diuji lebih dalam dengan menggunakan dataset yang disebut Black Box, terjadi penurunan tingkat akurasi pendeteksian Deepfake. Berbeda dengan dataset publik yang bisa digunakan sebagai bahan pelatihan, dataset Black Box berisikan 10.000 klip video pendek yang sebelumnya tidak dapat dilihat dan diakses oleh para peserta DFDC.

Model pendeteksian dengan performa terbaik milik Selim Seferbekov juga mengalami penurunan yang mencapai presisi rata-rata 65,18 persen terhadap dataset blackbox.

Demikian juga pemenang peserta DFDC lainnya. Mereka yang berada di urutan kedua hingga kelima mengalami penurunan, masing-masing berada di urutan ke-37, 6, 10 dan 17 ketika diuji oleh dataset Black Box.

"Seharusnya, Facebook bisa mendapatkan tingkat akurasi yang lebih tinggi dan mengembangkan sistem yang lebih baik untuk menentukan mana video deepfake dan video yang asli," tulis Social Media Today. []

Redaktur: Arif Rahman