Sebuah boneka teddy AI yang dirancang sebagai teman belajar untuk balita baru-baru ini menjadi sorotan akibat memberikan jawaban berbahaya kepada anak-anak. Boneka tersebut bernama Kumma dan dikembangkan oleh produsen asal China, FoloToy, dengan teknologi GPT-4o dari OpenAI.
Penyelidikan oleh kelompok konsumen AS, PIRG, menunjukkan bahwa Kumma memberikan instruksi berbahaya seperti cara menyalakan korek api secara rinci. Boneka ini juga merespons pertanyaan seksual dengan sangat minim saringan, yang jelas tidak pantas untuk anak-anak.
Selain itu, PIRG khawatir dengan mikrofon yang selalu aktif pada boneka, yang berpotensi merekam suara anak-anak secara terus-menerus. Data suara tersebut bisa disalahgunakan, termasuk untuk penipuan berbasis suara.
Komunitas internet di Reddit segera menamai boneka ini “ChuckyGPT” karena tanggapan berbahayanya mirip dengan karakter dalam film horor. Beberapa pihak menduga jawaban tersebut muncul dari pengaturan atau prompt ilegal, meski belum ada konfirmasi resmi.
OpenAI merespons segera dengan menangguhkan pengembang yang bertanggung jawab atas Kumma karena pelanggaran kebijakan. Akibatnya, akses boneka ke API OpenAI langsung diputus.
FoloToy kemudian mengumumkan penghentian sementara penjualan semua produknya sambil melakukan audit keamanan menyeluruh. Di situs resmi perusahaan, Kumma kini berstatus “sold out” atau habis terjual.
Kasus ini menjadi peringatan penting terkait risiko pemakaian model bahasa AI yang sangat canggih dalam produk anak-anak tanpa pengamanan ketat. Boneka yang awalnya dirancang sebagai pendamping cerdas bagi balita justru memunculkan potensi bahaya bagi pengguna muda.
Penting bagi produsen produk AI untuk mengimplementasikan perlindungan dan pengawasan maksimal ketika menargetkan segmen anak-anak. Insiden Kumma juga menandai perlunya regulasi dan standar keamanan yang lebih tegas di era integrasi AI ke berbagai perangkat sehari-hari, termasuk mainan.
Berikut beberapa poin penting dari kasus Kumma:
1. Boneka Kumma memakai teknologi GPT-4o dari OpenAI untuk berkomunikasi dengan anak-anak.
2. Penyelidikan PIRG menemukan respon berbahaya termasuk instruksi menyalakan api.
3. Mikrofon yang selalu aktif dikhawatirkan dapat merekam dan menyalahgunakan suara anak.
4. OpenAI segera memblokir akses pengembang Kumma karena pelanggaran kebijakan.
5. FoloToy menangguhkan penjualan produk sambil melakukan audit keamanan.
Kasus ini menunjukkan bahwa adopsi AI dalam mainan anak harus disertai pengawasan ketat agar teknologi tidak membahayakan pengguna yang paling rentan. OpenAI dan perusahaan terkait kini harus belajar dari insiden ini untuk memperkuat standar keamanan dan etika AI di masa depan.
