Penelitian terbaru dari Massachusetts Institute of Technology (MIT) mengungkap kelemahan penting dalam performa chatbot berbasis kecerdasan buatan (AI). Studi tersebut menunjukkan bahwa chatbot AI cenderung memberikan informasi yang kurang akurat dan bersikap merendahkan terhadap pengguna rentan, terutama mereka yang memiliki keterbatasan bahasa Inggris, pendidikan rendah, dan latar belakang dari luar Amerika Serikat.
Model bahasa besar (Large Language Models/LLM) seperti GPT-4, Claude 3 Opus, dan Llama 3 diuji berdasarkan akurasi faktual dan respons komunikasi mereka. Pengujian dilakukan dengan menggunakan dataset TruthfulQA dan SciQ serta profil pengguna yang beragam dari sisi pendidikan, kemahiran bahasa, dan negara asal. Hasilnya memperlihatkan penurunan kualitas informasi signifikan bagi kelompok rentan tersebut.
Penurunan Akurasi dan Nada Merendahkan
Para peneliti menemukan bahwa chatbot lebih sering menolak menjawab, atau memberikan jawaban yang kurang tepat, kepada pengguna dengan pendidikan rendah dan kemampuan bahasa Inggris terbatas. Misalnya, Claude 3 Opus menolak hampir 11 persen pertanyaan dari penutur non-pribumi berbahasa Inggris yang memiliki latar belakang pendidikan rendah. Angka ini jauh lebih tinggi dibandingkan tingkat penolakan terhadap pengguna dengan profil standar yakni 3,6 persen.
Selain akurasi, nada komunikasi chatbot juga bermasalah. Banyak respons yang menggunakan bahasa patronizing atau meremehkan pengguna rentan. Dalam beberapa kasus, chatbot bahkan meniru bahasa Inggris yang terbata-bata guna menanggapi pengguna dengan tingkat kemahiran bahasa rendah. Sikap ini tidak hanya memperburuk pengalaman pengguna, tetapi juga berpotensi menimbulkan rasa tidak dihargai.
Perbedaan Perlakuan Berdasarkan Lokasi dan Pendidikan
Chatbot juga cenderung menahan informasi penting mengenai topik seperti tenaga nuklir dan sejarah dari pengguna yang berasal dari negara-negara tertentu seperti Iran dan Rusia, khususnya jika mereka memiliki tingkat pendidikan rendah. Sementara itu, pertanyaan yang sama dari pengguna berpendidikan lebih tinggi dan dari negara lain dijawab dengan benar.
Fenomena ini memperlihatkan adanya bias sosiokognitif yang mungkin tidak disadari dalam pengembangan AI. Alih-alih menjadi alat yang mendemokratisasi informasi secara global, AI berpotensi memperparah kesenjangan akses dan kualitas informasi bagi kelompok marginal.
Ancaman Ketidaksetaraan Informasi
Para peneliti MIT menyoroti risiko bahwa bias ini akan semakin memburuk dengan penerapan fitur personalisasi yang makin luas pada teknologi AI. Jika tidak diantisipasi, hal ini bisa memperlebar jurang informasi antara pengguna maju dan rentan. Terlebih, misinformasi dan perilaku diskriminatif yang terselubung dapat disebarkan kepada mereka yang kurang mampu mengenali ketidakakuratan.
Tantangan etis ini membutuhkan perhatian serius dari pengembang teknologi. AI harus dirancang agar inklusif, adil, dan responsif terhadap keberagaman latar belakang pengguna. Tanpa itu, AI justru memperkuat berbagai bentuk ketidaksetaraan yang sudah ada di masyarakat.
Pentingnya Pengembangan AI Berkeadilan
Studi MIT ini menegaskan perlunya pendekatan baru dalam pengembangan AI yang memperhatikan dimensi sosial selain aspek teknis. Peningkatan akurasi dan sensitivitas kultural harus menjadi prioritas agar AI tidak mendiskriminasi atau merugikan kelompok tertentu.
Pengujian dengan pengguna yang beragam harus menjadi bagian integral dari riset AI agar produk akhir mampu melayani seluruh lapisan masyarakat secara efektif. Kebijakan dan pedoman etika juga harus diperkuat agar penggunaan AI tidak membatasi akses informasi atau menyebarkan ketidaksetaraan.
Fakta Penting Studi MIT
- Chatbot AI diuji menggunakan dataset khusus untuk mengukur akurasi dan nada respons.
- Pengguna dengan pendidikan rendah dan bahasa Inggris terbatas menerima informasi yang kurang akurat.
- AI menampilkan sikap merendahkan dan patronizing terhadap kelompok rentan.
- Penolakan menjawab lebih sering terjadi pada pengguna dari luar AS dengan pendidikan rendah.
- Bias sosiokognitif dalam AI dapat memperburuk ketidaksetaraan informasi.
- Pengembangan AI harus fokus pada keadilan dan inklusivitas.
Temuan ini menjadi peringatan penting bagi dunia teknologi agar tidak mengabaikan dampak sosial dari produk yang dikembangkan. Penelitian tersebut membantu mengarahkan perhatian pada perlunya AI yang lebih bertanggung jawab dan dapat diakses secara setara oleh semua pengguna, tanpa terkecuali.
