Aplikasi AI yang dikenal sebagai “nudify” masih bisa ditemukan di toko aplikasi besar, termasuk Google Play Store. Temuan ini menyorot celah moderasi karena sebagian aplikasi tersebut bahkan diberi label cocok untuk semua orang, sehingga dapat diakses anak-anak.
Laporan Tech Transparency Project (TTP), seperti dikutip Android Police via Engadget, menyebut situasi ini belum banyak berubah. Menurut laporan itu, Google Play Store dan Apple App Store masih memuat sejumlah aplikasi kontroversial yang mampu memanipulasi foto hingga menghasilkan gambar telanjang palsu.
Apa itu aplikasi AI “nudify”
Secara teknis, aplikasi ini bekerja seperti editor gambar berbasis AI generatif. Aplikasi dapat menghapus elemen tertentu pada foto lalu membuat detail baru untuk menggantinya.
Konsep dasarnya mirip dengan fitur edit foto AI yang sah di layanan populer. Perbedaannya, aplikasi “nudify” dinilai tidak memiliki pengaman yang memadai untuk mencegah penyalahgunaan.
Fungsi utamanya sangat sensitif karena memungkinkan seseorang membuat citra pornografis dari foto orang lain. Risiko ini menjadi lebih serius karena korban bisa berasal dari foto biasa yang sebelumnya tidak mengandung unsur seksual.
Masalah besar di Google Play Store
TTP menyebut ada 31 aplikasi semacam ini yang tidak ditinjau secara memadai dan diberi rating “E” for Everyone. Artinya, aplikasi tersebut dianggap layak untuk semua kalangan dan berpotensi lebih mudah ditemukan serta diunduh oleh anak-anak.
Label usia ini menjadi sorotan utama karena membuka akses luas terhadap alat yang berisiko tinggi. Dalam konteks keamanan digital, persoalannya bukan hanya pada keberadaan aplikasi, tetapi juga pada bagaimana aplikasi itu diklasifikasikan dan dipromosikan di etalase toko aplikasi.
Laporan tersebut juga menggambarkan skala masalah yang tidak kecil. Aplikasi yang diteliti disebut telah menghasilkan sekitar $122 million pendapatan dan diunduh hampir 500 juta kali.
Angka itu menunjukkan bahwa aplikasi “nudify” bukan sekadar fenomena pinggiran. Ada permintaan pasar yang besar, sehingga insentif bisnis untuk tetap menghadirkannya juga sangat kuat.
Respons Google dan Apple
Saat dimintai komentar oleh TTP, Google mengatakan banyak aplikasi yang disebut dalam laporan telah dihapus dari Play Store. Apple juga menghapus sejumlah aplikasi, meski pada awalnya tidak memberikan komentar publik yang rinci.
Dalam pembaruan yang dimuat Android Police, Apple kemudian menjelaskan posisinya dengan lebih tegas. Perusahaan itu menyatakan aplikasi “nudification” melanggar pedoman App Store dan banyak di antaranya telah dihapus, termasuk beberapa sebelum sempat dipublikasikan.
Apple juga menyebut telah memblokir banyak istilah pencarian yang tercantum dalam laporan TTP. Berdasarkan temuan laporan tersebut, Apple mengaku dapat memblokir lebih banyak lagi istilah terkait.
Selain itu, Apple mengatakan menggunakan AIML untuk membantu meningkatkan keselamatan pengguna. Perusahaan itu juga menegaskan kebijakan iklannya tidak mengizinkan penayangan iklan kepada anak di bawah 13 tahun, serta tidak mengizinkan penargetan iklan kepada pengguna usia 13 hingga 17 tahun.
Dampak yang lebih luas
Masalah aplikasi “nudify” tidak berhenti pada pelanggaran kebijakan platform. Teknologi ini memperbesar ancaman deepfake seksual, yang dalam praktiknya dapat dipakai untuk mempermalukan, mengintimidasi, atau mengeksploitasi korban.
Android Police menilai potensi bahayanya sangat tinggi. Risiko itu makin jelas ketika aplikasi semacam ini berada di ruang yang mudah diakses publik, termasuk oleh remaja dan anak-anak.
Laporan referensi juga menyinggung bahwa pemerintah Inggris telah memulai upaya untuk melarang aplikasi seperti ini. Langkah tersebut muncul di tengah kekhawatiran atas dampak yang sudah terasa di sekolah dan lingkungan lain.
Konteks ini penting karena menunjukkan persoalan tidak lagi bersifat teoritis. Kerusakan sosial akibat manipulasi gambar berbasis AI sudah dipandang cukup nyata untuk memicu respons kebijakan.
Tantangan moderasi ke depan
Kasus ini memperlihatkan bahwa penghapusan aplikasi setelah ditemukan belum tentu cukup. Selama jalur distribusi, penilaian usia, dan sistem pencarian masih bisa ditembus, aplikasi serupa berpeluang terus muncul kembali.
Di sisi lain, skala unduhan dan pendapatan menunjukkan bahwa model bisnisnya sangat menguntungkan. Karena itu, tekanan terhadap Google Play Store dan platform lain kemungkinan akan mengarah pada proses kurasi yang lebih ketat, terutama untuk aplikasi edit foto berbasis AI yang berpotensi menghasilkan konten seksual non-konsensual.
Perdebatan utamanya kini bergeser dari sekadar apakah aplikasi semacam itu harus dihapus, menjadi bagaimana platform menilai, mendeteksi, dan membatasi penyebarannya sejak awal. Selama AI generatif tetap berkembang dalam bentuk yang sama, aplikasi “nudify” diperkirakan akan terus menjadi tantangan serius bagi keamanan pengguna di toko aplikasi.
