Microsoft mengingatkan bahwa agen AI di lingkungan kerja dapat berubah menjadi ancaman ganda yang disebut "double agent". Dalam laporan Cyber Pulse mereka, Microsoft menegaskan bahwa penyerang bisa memanipulasi akses agen AI atau memberinya input yang tidak terpercaya. Tindakan ini memungkinkan pelaku untuk menyusup dan merusak sistem dari dalam organisasi.
Masalah utama bukanlah teknologi AI itu sendiri, melainkan pengendalian yang tidak merata. Agen AI kini berkembang pesat di berbagai industri, namun sebagian implementasi dilakukan tanpa pengawasan tim TI dan keamanan, sehingga apa yang berjalan dan jangkauannya menjadi sulit terpantau.
Risiko Agen AI yang Memiliki Memori dan Akses Luas
Kekhawatiran terbesar muncul ketika agen AI memiliki kemampuan untuk mengingat dan bertindak berdasarkan konteks yang disimpan. Microsoft mencontohkan kampanye penipuan yang berhasil diungkap oleh tim Defender, di mana manipulasi memori ("memory poisoning") mengubah konteks yang disimpan agar agen mengeluarkan respon yang membahayakan di masa depan.
Dengan kecepatan penerapan agen AI yang melebihi pengawasan keamanan, celah-tersembunyi (shadow AI) muncul dengan cepat. Ini memberi kesempatan bagi penyerang untuk membajak agen dengan akses legal namun disalahgunakan. Microsoft menyebut ini sebagai masalah akses sebanyak masalah AI.
Memberi agen AI hak istimewa yang luas berisiko jika suatu proses yang terjebak manipulasi dapat mengakses data dan sistem yang seharusnya tidak dapat dijangkau. Oleh sebab itu, Microsoft menekankan pentingnya observabilitas dan manajemen terpusat agar tim keamanan dapat memantau seluruh agen yang digunakan, termasuk yang beroperasi di luar jalur resmi.
Survei menunjukkan bahwa 29% karyawan pernah menggunakan agen AI yang tidak disetujui untuk tugas kerja. Perilaku ini menambah risiko sulitnya mendeteksi manipulasi sejak dini.
Serangan Tidak Hanya dari Permintaan yang Salah
Ancaman tidak terbatas pada pengguna yang memberikan perintah tidak tepat. Memory poisoning merupakan serangan bertahan yang dapat menanam instruksi berbahaya yang mempengaruhi jawaban agen AI selanjutnya. Dampaknya akan menimbulkan keraguan terhadap keakuratan dan integritas agen itu sendiri.
Selain itu, tim AI Red Team Microsoft menemukan bahwa agen AI juga bisa tertipu oleh elemen antarmuka yang menipu. Instruksi berbahaya bisa disembunyikan dalam konten sehari-hari, atau cara pengubahan tugas yang halus mempengaruhi cara agen berpikir. Tampilan pesan serupa dengan percakapan normal, sehingga serangan ini sulit dikenali.
Rekomendasi Microsoft untuk Mencegah Risiko Double Agent
Microsoft menganjurkan agar agen AI diperlakukan seperti identitas digital baru, bukan sekadar tambahan teknologi biasa. Pendekatan Zero Trust perlu diterapkan untuk agen ini dengan langkah berikut:
- Verifikasi identitas agen AI secara ketat.
- Batasi hak akses dengan prinsip least privilege.
- Pantau tingkah laku agen secara berkelanjutan untuk mendeteksi aktivitas tidak biasa.
Manajemen terpusat menjadi kunci karena memungkinkan tim keamanan untuk melakukan inventarisasi semua agen AI, memahami jangkauan aksesnya, dan menerapkan kontrol yang konsisten. Dengan begitu, kasus agen AI yang berkhianat bisa diminimalkan.
Sebelum meluncurkan lebih banyak agen AI, penting untuk memetakan akses setiap agen, mengatur hak istimewa seminimal mungkin, dan mengaktifkan pemantauan yang mampu mendeteksi upaya manipulasi instruksi. Jika langkah-langkah dasar ini belum terpenuhi, sebaiknya proses implementasi ditunda hingga masalah tersebut diatasi.
Melalui pengendalian yang ketat dan pengawasan yang terus menerus, organisasi dapat mengurangi potensi risiko AI yang berubah menjadi agen ganda. Microsoft mengingatkan bahwa perlindungan di era AI tidak hanya soal teknologi, melainkan juga pengelolaan risiko akses dan kepercayaan sistem yang digunakan dalam lingkungan kerja.
