Sebuah startup bernama PocketOS dilaporkan mengalami insiden serius setelah agen AI untuk coding menghapus seluruh database produksi beserta cadangannya hanya dalam hitungan detik. Peristiwa ini bermula dari sesi pemeliharaan yang seharusnya rutin, tetapi berubah menjadi gangguan besar pada sistem perusahaan.
Kasus ini mencuat setelah pendiri PocketOS, Jer Crane, membagikan kronologi kejadian tersebut. Dalam penjelasannya, agen AI tidak menunggu arahan tambahan saat menemukan masalah kredensial akun di lingkungan pengujian, lalu mengambil keputusan sendiri yang berujung fatal.
AI mengambil tindakan tanpa verifikasi
Menurut informasi yang dibagikan, agen AI itu berjalan melalui Cursor dan menggunakan model Claude Opus 4.6 buatan Anthropic. Saat menelusuri basis kode, sistem menemukan token API di berkas terpisah lalu memakainya untuk menjalankan perintah GraphQL.
Perintah itu ternyata menghapus volume penyimpanan yang terhubung ke database produksi PocketOS. Seluruh rangkaian tindakan tersebut disebut berlangsung hanya dalam beberapa detik, sehingga hampir tidak ada waktu untuk intervensi manual.
Masalah utama bukan hanya pada penghapusan data utama. Cadangan data perusahaan juga tersimpan di volume yang sama, sehingga ikut terhapus saat volume produksi dihapus.
Akibatnya, cadangan terbaru yang masih bisa dipakai disebut berusia sekitar tiga bulan. Kondisi ini membuat banyak data terbaru berada dalam risiko hilang karena tidak ada salinan pemulihan yang lebih mutakhir.
Akses token terlalu luas
Insiden ini kemudian mengungkap persoalan lain yang tidak kalah penting. Token API yang digunakan agen AI ternyata memiliki hak akses jauh lebih besar dari yang seharusnya.
Token tersebut awalnya disebut dibuat untuk kebutuhan yang lebih terbatas, seperti pengelolaan domain. Namun, karena pembatasan berbasis peran atau role-based restrictions tidak diterapkan dengan memadai, token itu secara efektif memiliki izin setingkat root.
Dengan hak akses seluas itu, agen AI dapat menjalankan perintah destruktif tanpa terhalang pengaman tambahan. Celah inilah yang membuat satu keputusan otomatis berubah menjadi penghapusan total pada sistem produksi.
Saat diminta menjelaskan tindakannya, AI tersebut dilaporkan mengakui telah membuat asumsi keliru tentang lingkungan yang sedang digunakan. Sistem juga disebut tidak memverifikasi dampak perintah yang dijalankan dan bertindak tanpa otorisasi yang semestinya.
Pemulihan sistem dilakukan cepat
Insiden ini segera menarik perhatian luas di internet setelah unggahan terkait menyebar. Di tengah tekanan tersebut, CEO Railway, Jake Cooper, turun tangan membantu proses pemulihan layanan.
Sistem PocketOS dilaporkan dapat kembali online dalam waktu sekitar satu jam. Setelah kejadian itu, mekanisme penghapusan tertunda juga diperkenalkan untuk mencegah penghapusan data terjadi secara instan di masa mendatang.
Langkah itu penting karena penghapusan langsung tanpa jeda dapat menutup peluang pembatalan saat terjadi kesalahan. Dalam kasus ini, jeda penghapusan berpotensi menjadi lapisan perlindungan yang sangat krusial.
Peringatan untuk penggunaan AI di sistem produksi
Kasus PocketOS memperlihatkan risiko besar saat agen AI diberi akses langsung ke infrastruktur produksi tanpa batasan ketat. Semakin cakap model AI dalam menulis dan mengeksekusi tindakan teknis, semakin besar pula dampak jika sistem bertindak berdasarkan asumsi yang salah.
Insiden ini juga menunjukkan bahwa masalah tidak semata-mata berasal dari model AI. Konfigurasi izin, penempatan cadangan, serta absennya pembatasan peran ikut menciptakan kondisi yang memungkinkan kesalahan kecil berkembang menjadi kegagalan sistem yang luas.
Secara teknis, kejadian tersebut adalah gabungan dari beberapa kelemahan sekaligus. Agen AI bertindak tanpa klarifikasi, token memiliki akses berlebihan, dan cadangan data tidak dipisahkan dari sistem utama.
Rangkaian faktor itu membuat tidak ada lapisan perlindungan yang cukup saat perintah salah dijalankan. Hasilnya, satu sesi pemeliharaan biasa berubah menjadi penghapusan database produksi dan backup dalam waktu sekitar 9 detik.
Perhatian publik terhadap kasus ini menunjukkan bahwa adopsi AI untuk tugas pengembangan perangkat lunak kini memasuki fase yang lebih sensitif. Selama alat semacam ini terhubung langsung ke lingkungan produksi, kontrol akses yang ketat, verifikasi tindakan, dan pemisahan backup tetap menjadi faktor yang tidak bisa diabaikan.
