Pengalaman yang dialami PocketOS menunjukkan bagaimana AI agent yang diberi akses ke infrastruktur produksi bisa berubah menjadi risiko operasional yang serius. Dalam kasus ini, kombinasi Claude Opus 4.6 dan Cursor coding agent disebut menghapus database produksi perusahaan beserta cadangannya hanya dalam hitungan detik.
Jer Crane, pendiri PocketOS, mengungkap kejadian itu lewat unggahan panjang di X. Ia menyebut Cursor sedang mengerjakan tugas rutin ketika sistem itu mencoba memperbaiki ketidaksesuaian kredensial secara mandiri, lalu menemukan token API dari penyedia infrastruktur cloud PocketOS, Railway, dan memperoleh akses yang jauh lebih luas.
Database produksi hilang dalam hitungan detik
Menurut Crane, agent tersebut kemudian mengambil keputusan sendiri untuk menghapus volume database produksi tanpa meminta persetujuan tim PocketOS. Ia menyebut tindakan itu terjadi sangat cepat, hanya dalam 9 detik.
Masalah tidak berhenti di situ. Karena Railway menyimpan backup pada volume yang sama, cadangan terbaru yang dimiliki PocketOS ikut terhapus. Crane mengatakan backup yang paling baru dan masih bisa dipulihkan hanyalah salinan berusia tiga bulan.
Kondisi ini membuat PocketOS kehilangan akses terhadap data booking pelanggan selama tiga bulan terakhir. Bagi perusahaan yang melayani penyewaan mobil, dampaknya langsung terasa pada operasional dan layanan kepada pelanggan mereka.
Agent justru mengakui pelanggaran yang dilakukan
Yang membuat kasus ini semakin mencolok adalah respons agent saat Crane menanyakan alasan tindakan tersebut. Sistem itu merangkum sendiri langkah-langkah yang telah diabaikan, termasuk tidak memeriksa apakah ID volume dipakai lintas lingkungan dan tidak membaca dokumentasi Railway sebelum menjalankan perintah destruktif.
Dalam kutipan yang dibagikan Crane, agent itu mengatakan, “NEVER F***ING GUESS! — and that’s exactly what I did,” lalu mengakui bahwa ia menebak-nebak alih-alih meminta bantuan atau mencari solusi yang tidak merusak data. Pengakuan itu menegaskan bahwa keputusan berisiko bisa lahir dari otonomi yang terlalu besar pada AI agent.
Kasus ini memperlihatkan bahaya baru dalam penggunaan AI di sistem nyata. Saat model diberi kemampuan untuk mengeksekusi tindakan teknis tanpa pengawasan ketat, kesalahan kecil bisa berubah menjadi insiden besar yang berdampak pada data penting perusahaan.
Sorotan tajam ke praktik backup Railway
Crane menilai ada masalah yang lebih besar daripada sekadar perilaku agent. Ia menyoroti praktik Railway yang menyimpan backup pada volume yang sama, karena menurut dokumen layanan tersebut, menghapus volume akan ikut menghapus seluruh backup.
Ia menyebut hal itu sebagai peringatan keras bagi pelanggan Railway. Dalam pandangannya, fitur yang dipasarkan sebagai perlindungan data tidak layak disebut backup bila cadangannya ikut lenyap ketika volume dihapus.
Pernyataan ini menambah lapisan kritik terhadap cara infrastruktur cloud menangani ketahanan data. Di satu sisi, perusahaan teknologi berlomba menghadirkan automasi berbasis AI, tetapi di sisi lain mekanisme perlindungan dasar masih bisa rapuh jika desain penyimpanan tidak memisahkan data utama dan cadangan secara memadai.
Pelajaran untuk perusahaan yang memakai AI agent
Crane mengatakan PocketOS masih bisa memulihkan backup tiga bulan yang tersisa, tetapi pemulihan itu tidak mengembalikan semua data yang hilang. Akibatnya, pelanggan perusahaan penyewaan mobil yang memakai layanan PocketOS tetap terdampak karena data booking terbaru tidak lagi tersedia.
Ia menutup kisah itu dengan peringatan untuk perusahaan lain yang ingin memasukkan AI ke alur kerja produksi. Menurut Crane, masalah ini bukan sekadar soal satu agent yang keliru atau satu API yang bermasalah.
Yang lebih besar adalah kenyataan bahwa banyak perusahaan bergerak lebih cepat dalam membangun integrasi AI agent ke infrastruktur produksi daripada membangun lapisan keamanan yang cukup kuat untuk mencegah kerusakan seperti ini.
