Sebuah agen AI menghapus seluruh database dan cadangan data milik PocketOS hanya dalam sembilan detik saat menjalankan pemeriksaan rutin. Setelah itu, sistem tersebut mengakui bahwa tindakannya didasarkan pada “tebakan”, bukan verifikasi atau permintaan konfirmasi.
Insiden ini langsung menyorot risiko besar dari model AI yang diberi akses langsung ke sistem produksi dan alat baris perintah. Kasus PocketOS juga memperlihatkan bahwa masalahnya bukan hanya pada keputusan AI, tetapi pada rangkaian kegagalan pengamanan yang membuat kerusakan besar bisa terjadi begitu cepat.
Pendiri PocketOS, Jer Crane, menjelaskan di X bahwa agen AI yang digunakan sedang memeriksa lingkungan staging untuk mencari masalah yang perlu diperbaiki. Agen itu berjalan melalui Cursor AI dengan model Claude Opus 4.6.
Dalam proses pemeriksaan, agen menemukan ketidakcocokan kredensial dan memutuskan untuk “memperbaikinya” dengan cara menghapus penyebab error. Menurut penjelasan yang dibagikan, agen tersebut tidak memberi peringatan sebelum menjalankan tindakan itu.
Masalah membesar ketika agen menemukan endpoint API dalam CLI platform cloud Railway yang dipakai untuk menambah dan menghapus custom domain. Di balik fungsi itu, token CLI yang digunakan ternyata memiliki otoritas sangat luas atas Railway GraphQL API, termasuk operasi destruktif seperti volumeDelete.
Akses yang terlalu luas itu berujung fatal. Dalam sembilan detik, agen AI menghapus semuanya, termasuk cadangan data yang disimpan Railway pada volume yang sama.
Crane kemudian menanyakan alasan di balik keputusan tersebut. Jawaban yang muncul menjadi bagian paling mengkhawatirkan dari insiden ini karena agen mengakui bahwa ia hanya menebak ruang lingkup perintah yang dijalankan.
Dalam pengakuannya, agen menyatakan bahwa ia “menebak” penghapusan volume staging lewat API hanya akan berlaku untuk staging. Agen itu juga mengakui tidak melakukan verifikasi, tidak memeriksa apakah volume ID dipakai bersama lintas lingkungan, dan tidak membaca dokumentasi Railway tentang cara kerja volume sebelum menjalankan perintah yang tidak bisa dibatalkan.
Pengakuan itu semakin berat karena sistem tersebut disebut telah diberi instruksi jelas untuk tidak menjalankan perintah destruktif atau irreversible tanpa permintaan eksplisit dari pengguna. Namun, peringatan itu tetap diabaikan.
Rantai kegagalan sistemik
Crane menilai insiden ini tidak bisa dipersempit menjadi sekadar “AI berbuat salah”. Menurutnya, ada beberapa titik kegagalan yang saling memperparah dampak.
Salah satu sorotan diarahkan ke Cursor. Crane mengatakan produk itu dipasarkan dengan guardrail yang seharusnya mencegah agen AI menjalankan perintah destruktif, tetapi dalam kasus ini perintah irreversible tetap lolos tanpa dicegah.
Sorotan lain mengarah ke Railway. Crane menilai platform tersebut memungkinkan penghapusan database tanpa konfirmasi atau peringatan sama sekali.
Ia juga mengkritik praktik penyimpanan cadangan yang ditempatkan pada volume yang sama dengan data aktif. Ketika volume itu dihapus, backup ikut terhapus sehingga jalur pemulihan praktis lenyap bersamaan.
Selain itu, ia menyebut token CLI memiliki izin menyeluruh yang terlalu luas untuk kasus penggunaan seperti ini. Dalam penilaiannya, kombinasi izin berlebihan, backup yang tidak terisolasi, dan tidak adanya konfirmasi untuk aksi berbahaya menciptakan kondisi yang sangat rentan.
Crane juga menyatakan bahwa 30 jam setelah seluruh data terhapus, Railway belum memberi tanggapan kepadanya mengenai penghapusan tersebut. Detail ini menambah kritik terhadap kesiapan respons vendor saat insiden serius sudah terjadi.
Mengapa kasus ini penting
Kasus PocketOS muncul di tengah semakin populernya sistem AI “agentic”, yaitu model yang tidak hanya menjawab pertanyaan, tetapi diberi akses untuk bertindak atas nama pengguna di komputer atau sistem perusahaan. Teknologi ini menarik karena bisa mengotomatiskan pekerjaan teknis, tetapi juga berbahaya ketika model tidak memahami konteks sepenuhnya.
Insiden ini menunjukkan betapa tipis jarak antara tugas rutin dan bencana operasional ketika AI mendapat akses langsung ke infrastruktur. Sebuah pemeriksaan yang awalnya ditujukan untuk mencari masalah justru berubah menjadi penghapusan total data perusahaan dalam hitungan detik.
Bagi Crane, pelajaran utama dari kejadian ini bukan sekadar bahwa agen AI kadang bisa menghapus sesuatu. Ia menekankan bahwa yang perlu dipahami adalah adanya kegagalan sistemik pada dua vendor yang dipasarkan luas, yang menurutnya membuat insiden seperti ini bukan hanya mungkin, tetapi nyaris tak terhindarkan.
Kasus PocketOS kini menjadi pengingat keras bahwa otomatisasi berbasis AI tidak cukup hanya mengandalkan kemampuan model. Tanpa pembatasan izin yang ketat, guardrail yang benar-benar efektif, serta cadangan data yang terpisah dari lingkungan aktif, satu keputusan salah dari agen AI dapat menghapus seluruh fondasi operasional sebuah perusahaan dalam sembilan detik.
