Microsoft telah mengembangkan sebuah alat scanner inovatif yang mampu mendeteksi adanya backdoor tersembunyi pada model bahasa besar (large language models/LLM) dengan bobot terbuka yang digunakan di berbagai lingkungan perusahaan. Scanner ini dirancang untuk mengidentifikasi model yang telah diracuni (poisoned), di mana perilaku berbahaya disisipkan langsung ke bobot model selama proses pelatihan.
Backdoor ini biasanya bersifat dorman dan hanya aktif saat kondisi pemicu spesifik terpenuhi, menyebabkan LLM berperilaku tidak terduga atau merugikan. Microsoft menekankan pentingnya kepercayaan yang meningkat seiring dengan adopsi teknologi ini, di mana pengujian terhadap perilaku yang diketahui lebih mudah dibandingkan mengatasi manipulasi yang tidak dikenal atau terus berkembang.
Mekanisme Deteksi Scanner Microsoft
Tim keamanan AI Microsoft menjelaskan bahwa scanner tersebut mendeteksi backdoor dengan mengamati tiga sinyal utama yang muncul pada model yang diracuni. Pertama, saat frasa pemicu dimasukkan ke dalam permintaan, mekanisme perhatian (attention mechanism) model akan berfokus pada frasa tersebut sambil mengurangi keacakan output. Ini menjadi indikasi bahwa model mengenali perintah tersembunyi.
Kedua, scanner mencari pola memorisasi abnormal, di mana model yang telah disusupi cenderung membocorkan data racun pelatihan yang tersimpan, termasuk frasa pemicu itu sendiri. Hal ini berbeda dengan perilaku model normal yang menggunakan informasi pelatihan secara lebih umum.
Ketiga, metode ini mampu mendeteksi bahwa satu backdoor dapat diaktifkan oleh beberapa pemicu yang mirip (fuzzy triggers), meskipun tidak identik dengan data pelatihan racun. Keunikan pola ini memberikan sinyal tambahan bahwa model sedang terpengaruh oleh penyusupan backdoor.
Proses Analisis dan Keterbatasan
Scanner bekerja dengan mengekstrak konten yang dimemorisasi oleh model dan kemudian menganalisis substring yang mencurigakan berdasarkan fungsi loss terformalisasi yang sudah dikaitkan dengan tiga sinyal tersebut. Dengan teknik ini, scanner dapat menghasilkan daftar kandidat pemicu backdoor yang terurut berdasarkan tingkat kecurigaan tanpa perlu pelatihan ulang atau pengetahuan awal.
Namun, scanner ini memiliki keterbatasan karena memerlukan akses langsung ke berkas model sehingga tidak bisa digunakan untuk sistem yang sifatnya proprietary atau tertutup. Selain itu, performa terbaiknya adalah pada backdoor yang berbasis pemicu dengan output deterministik. Oleh karena itu, alat ini tidak dapat dianggap sebagai solusi universal yang menyelesaikan semua permasalahan keamanan model bahasa.
Tantangan Pengamanan Model AI
Yonatan Zunger, Wakil Presiden Korporat sekaligus Wakil Kepala Petugas Keamanan Informasi untuk Artificial Intelligence di Microsoft, menjelaskan bahwa sistem AI membuka banyak pintu masuk baru untuk input tidak aman. Pintu-pintu ini dapat membawa muatan berbahaya atau memicu perilaku yang tidak terduga, berbeda dengan sistem tradisional yang memiliki jalur masukan yang lebih terprediksi.
Hal ini menuntut pendekatan yang lebih canggih dan terus berkembang dalam deteksi serta mitigasi risiko keamanan pada LLM. Scanner yang dikembangkan Microsoft diharapkan menjadi alat penting untuk membantu organisasi mengidentifikasi ancaman tersembunyi yang selama ini sulit terdeteksi.
Dampak dan Implikasi bagi Industri AI
Dengan meningkatnya penggunaan model bahasa dalam aplikasi bisnis dan pemerintahan, deteksi backdoor menjadi sangat krusial untuk melindungi data dan integritas sistem. Serangan melalui backdoor yang tidak terdeteksi dapat menyebabkan kebocoran informasi, manipulasi output, bahkan dampak negatif pada pengambilan keputusan otomatis.
Alat ini menawarkan metode yang lebih transparan dan objektif dalam memeriksa model sebelum digunakan secara luas. Dengan penerapan scanner, organisasi dapat meningkatkan kepercayaan pada teknologi AI dan memitigasi risiko serangan siber yang semakin kompleks.
Kendati demikian, Microsoft menegaskan pentingnya pengawasan berkelanjutan dan pengembangan mekanisme keamanan tambahan mengingat ancaman terus berkembang. Teknologi deteksi ini harus dipadukan dengan strategi keamanan menyeluruh agar AI dapat dimanfaatkan secara aman dan efektif di masa depan.
