Sebuah uji keamanan baru memunculkan kekhawatiran baru di era kecerdasan buatan. Bukan hanya manusia yang dapat menyusupi sistem digital, tetapi agen AI kini juga dinilai mampu menyerang sistem AI lain secara otonom.
Temuan itu muncul dari eksperimen yang melibatkan platform AI internal milik McKinsey bernama Lilli. Menurut startup keamanan CodeWall, agen AI buatannya mampu menembus sistem tersebut hanya dalam waktu dua jam dalam skenario pengujian keamanan yang bertanggung jawab.
AI internal perusahaan besar kini jadi target baru
Lilli merupakan platform generatif internal yang dipakai McKinsey untuk membantu karyawan mencari pengetahuan perusahaan, menganalisis dokumen, dan mengakses riset internal. McKinsey memperkenalkan alat ini pada Juli dan menjadikannya salah satu fondasi kerja digital di dalam organisasi.
Penggunaannya disebut sangat luas di lingkungan perusahaan. McKinsey menyatakan lebih dari 70 persen tenaga kerjanya, atau lebih dari 40.000 karyawan, rutin memakai chatbot tersebut, dengan lebih dari 500.000 prompt diproses setiap bulan.
Skala pemakaian itu menjelaskan mengapa platform semacam ini menjadi sasaran yang menarik. Jika satu celah keamanan ditemukan, dampaknya dapat menjangkau data operasional, dokumen internal, hingga alur kerja yang dipakai ribuan pegawai.
Bagaimana agen AI menemukan celah
CodeWall menjelaskan target dipilih setelah agen risetnya memindai informasi yang tersedia untuk publik. Pemindaian itu mencakup kebijakan pengungkapan perusahaan dan pembaruan yang berkaitan dengan Lilli.
Setelah itu, peneliti membiarkan agen bekerja secara mandiri. Agen tersebut tidak diberi kredensial login dan tidak memiliki pengetahuan orang dalam mengenai sistem yang diuji.
Dalam proses awal, AI memetakan permukaan serangan dan menelaah dokumentasi publik. Dari sana, sistem menemukan dokumentasi API yang memperlihatkan lebih dari 200 endpoint.
Sebagian besar endpoint memang membutuhkan autentikasi. Namun, CodeWall menyebut ada 22 endpoint yang bisa diakses tanpa login.
Salah satu endpoint itu menangani kueri pencarian pengguna dan menyimpannya ke basis data. Menurut laporan tersebut, struktur permintaannya dapat dimanipulasi sehingga agen AI bisa menyisipkan instruksi berbahaya ke kueri basis data sistem.
Dengan pengujian berulang dan analisis atas pesan kesalahan dari server, agen AI itu akhirnya disebut berhasil mengekstrak data produksi yang masih aktif. Paul Price, CEO CodeWall, mengatakan kepada The Register, “The process was fully autonomous from researching the target, analysing, attacking, and reporting.”
Data apa saja yang disebut bisa diakses
CodeWall melaporkan kerentanan itu membuka akses ke informasi internal dalam jumlah sangat besar. Basis data yang terkait dengan Lilli disebut menyimpan sekitar 46,5 juta pesan chat yang dibuat karyawan saat menggunakan alat tersebut.
Isi percakapan itu dilaporkan mencakup diskusi strategi, perencanaan keuangan, merger dan akuisisi, pekerjaan klien, serta riset internal. Yang menjadi sorotan, pesan-pesan tersebut disebut tersimpan dalam plain text.
Selain chat, sistem juga disebut menampung sekitar 728.000 file. Jenis filenya meliputi PDF, spreadsheet, presentasi, dan dokumen Word.
Peneliti juga menyebut agen AI dapat melihat lebih dari 57.000 akun pengguna yang terhubung ke platform. Akses itu turut mencakup ribuan workspace internal dan asisten AI yang digunakan pegawai.
Risiko yang lebih besar dari sekadar pencurian data
Laporan ini tidak hanya menyoroti risiko pembacaan data. CodeWall menyebut celah yang sama secara teori juga dapat dipakai untuk mengubah system prompt, yakni instruksi inti yang mengatur perilaku chatbot dan pembatasan jawabannya.
Jika prompt itu dimodifikasi, penyerang berpotensi memengaruhi cara AI merespons pertanyaan karyawan. Risiko lanjutannya bisa berupa panduan yang menyesatkan, perubahan perilaku model, atau pelonggaran guardrail tanpa tanda yang langsung terlihat.
Ini menjadi perhatian penting karena serangan terhadap AI kini tidak lagi berhenti pada pencurian file. Dalam sistem perusahaan modern, mengubah cara AI berpikir dan menjawab bisa berdampak langsung pada keputusan bisnis sehari-hari.
Respons McKinsey dan pelajaran bagi industri
CodeWall menyatakan kerentanan tersebut telah dilaporkan kepada McKinsey pada awal Maret. Menurut laporan itu, perusahaan kemudian menambal endpoint yang terdampak, memblokir dokumentasi API publik, dan menonaktifkan sebagian lingkungan pengembangan.
McKinsey mengatakan telah menyelidiki temuan tersebut dengan dukungan firma forensik pihak ketiga. Kepada The Register, juru bicara perusahaan menyatakan, “Our investigation, supported by a leading third-party forensics firm, identified no evidence that client data or client confidential information were accessed by this researcher or any other unauthorised third party.”
Perusahaan juga menegaskan perlindungan informasi sensitif tetap menjadi prioritas utama. McKinsey menyebut sistem keamanannya kuat dan menempatkan perlindungan data klien sebagai fokus tertinggi.
Kasus ini memberi peringatan baru bagi perusahaan yang mengadopsi AI internal dalam skala besar. Ketika agen AI dapat memetakan target, mencari celah, menguji respons server, lalu menyusun serangan sendiri, tempo ancaman siber bisa menjadi jauh lebih cepat daripada pola serangan konvensional.
Poin penting dari temuan CodeWall
- Targetnya adalah platform AI internal McKinsey, Lilli.
- Agen AI disebut menembus sistem dalam dua jam tanpa kredensial.
- Dokumentasi API publik mengungkap lebih dari 200 endpoint.
- Sebanyak 22 endpoint dilaporkan dapat diakses tanpa login.
- Data yang disebut terdampak mencakup 46,5 juta chat dan 728.000 file.
- Celah dinilai berpotensi dipakai untuk membaca sekaligus mengubah prompt sistem.
Bagi industri, temuan ini memperlihatkan bahwa perlindungan AI enterprise tidak cukup hanya mengamankan model dan akun pengguna. Dokumentasi publik, endpoint yang terbuka, penyimpanan prompt, dan basis data operasional kini juga menjadi lapisan kritis yang harus diaudit sebelum agen AI milik pihak lain bergerak lebih cepat dari tim keamanan manusia.
