Reserve Bank of India (RBI) mengusulkan aturan baru yang dapat mengubah cara bank memakai kecerdasan buatan. Inti usulannya tegas: setiap bank harus memiliki “kill switch” untuk mematikan sistem AI secara instan saat model menghasilkan keluaran yang berbahaya atau keliru.
Rancangan pedoman itu juga menegaskan bahwa semua keputusan yang digerakkan AI tetap harus berada di bawah pengawasan manusia. Artinya, bank tidak boleh membiarkan model bekerja dan mengambil keputusan tanpa kendali manusia di atasnya.
Langkah ini muncul ketika penggunaan AI di bank dan lembaga keuangan lain makin meluas. Di sektor yang mengelola data dan informasi keuangan yang sensitif, kesalahan model dinilai bisa berdampak langsung pada operasional, kepatuhan, reputasi, hingga stabilitas sistem.
RBI menyampaikan rancangan pedoman luas untuk bank dan entitas yang diaturnya pada hari Rabu. Jika nantinya diwajibkan, entitas tersebut harus bisa menimpa keputusan model, menangguhkan, atau menonaktifkan sistem AI kapan pun dibutuhkan, termasuk melalui mekanisme kill switch.
Pengawasan manusia jadi syarat utama
Dalam rancangan itu, RBI meminta semua pengambilan keputusan berbasis AI tetap tunduk pada pengawasan manusia. Ketentuan ini berlaku bukan hanya untuk sistem AI generatif atau model canggih, tetapi juga untuk semua model yang digunakan oleh entitas yang diatur.
Cakupannya sangat luas, mulai dari kalkulator berbasis spreadsheet yang sederhana hingga sistem frontier AI yang kompleks. Dengan pendekatan ini, RBI tampak ingin menutup celah agar bank tidak hanya fokus mengawasi model paling mutakhir, sambil mengabaikan model lama yang tetap memengaruhi keputusan bisnis.
RBI juga mengingatkan risiko “automation bias”, yaitu ketika pegawai terlalu bergantung pada keluaran AI tanpa menggunakan penilaian mereka sendiri. Karena itu, kehadiran manusia bukan sekadar formalitas, melainkan bagian dari kontrol agar keputusan tidak diambil mentah-mentah dari hasil model.
Bank tetap bertanggung jawab penuh
Salah satu poin paling penting dalam rancangan itu adalah soal akuntabilitas. Bank akan tetap memikul tanggung jawab penuh atas hasil dari model apa pun yang mereka gunakan, baik model itu dikembangkan sendiri, dibeli dari vendor, atau dibangun lewat kombinasi keduanya.
RBI meminta bank melakukan uji kelayakan yang memadai sebelum memakai model tersebut. Pesan ini penting karena penggunaan model pihak ketiga kerap dianggap dapat memindahkan sebagian risiko ke vendor, padahal dalam usulan RBI, tanggung jawab tetap berada pada entitas yang diatur.
Menurut RBI, meluasnya penggunaan model, termasuk yang memakai artificial intelligence dan machine learning, di berbagai proses bisnis dan pengambilan keputusan dapat membuka risiko keuangan, operasional, kepatuhan, dan reputasi bila tata kelola serta pengendaliannya lemah. Jika tidak dikelola efektif, risiko itu dapat memicu hasil yang tidak akurat, keputusan yang cacat, kerugian finansial, gangguan operasional, kegagalan kepatuhan, dan dampak buruk lain bagi entitas, konsumen, serta sistem keuangan.
Semua model harus dipetakan berdasarkan tingkat risiko
RBI juga mengusulkan struktur pengelompokan berbasis risiko. Dalam skema ini, bank harus mengklasifikasikan setiap model berdasarkan tingkat risikonya, lalu menerapkan pengawasan, validasi, dan kontrol yang sebanding dengan tingkat risiko tersebut.
Jika risiko yang dinilai melampaui risk appetite bank, rancangan pedoman mewajibkan tindakan cepat. Langkah itu dapat berupa penguatan kontrol, pembatasan penggunaan, perbaikan, penghentian model, serta pelaporan kepada komite manajemen risiko dewan.
Tingkat risiko model juga tidak boleh dibiarkan statis. RBI meminta peninjauan tingkat risiko setidaknya sekali setahun, sementara model berisiko tinggi harus memperoleh persetujuan dari Risk Management Committee of the Board sebelum diterapkan, bukan hanya disetujui tim teknologi atau tim risiko.
Tata kelola AI dinaikkan ke level dewan
Untuk pertama kalinya, RBI menempatkan tata kelola AI dan model secara tegas di level dewan. Setiap entitas yang diatur wajib memiliki Model Risk Management Framework yang disetujui dewan dan mencakup seluruh model tanpa memandang asal pengembangannya.
Kerangka itu harus berlaku untuk model yang dibangun internal, diperoleh dari vendor, maupun yang merupakan gabungan keduanya. Pendekatan ini menunjukkan bahwa RBI tidak melihat risiko model semata sebagai isu teknis, melainkan sebagai isu tata kelola perusahaan.
RBI juga menyoroti risiko rantai pasok yang muncul dari ketergantungan berlebihan pada segelintir penyedia model AI. Bank diminta mengelola risiko tersebut secara aktif dan memastikan penerapan AI tidak justru memasukkan kerentanan baru ke dalam model.
Aturan tambahan untuk sistem yang berhadapan langsung dengan nasabah
Untuk sistem yang bersentuhan langsung dengan pelanggan, RBI meminta bank memberi tahu ketika nasabah sedang berinteraksi dengan sistem AI. Nasabah juga harus diberi pilihan untuk beralih ke manusia kapan saja.
Khusus model AI generatif yang berinteraksi dengan pelanggan atau pengguna eksternal, RBI meminta kontrol keamanan siber tambahan. Penekanan ini datang ketika kekhawatiran soal keamanan siber AI menguat, termasuk setelah model Claude Mythos milik Anthropic memicu perhatian baru di kalangan lembaga keuangan.
RBI saat ini masih membuka masukan atas rancangan pedoman tersebut hingga 24 Juli. Jika nantinya disahkan, aturan ini berpotensi menjadi salah satu kerangka paling tegas untuk memastikan AI di sektor perbankan tetap bisa dimatikan seketika, diawasi manusia, dan diawasi langsung dari ruang dewan.