Kecerdasan buatan masih menghadapi tantangan besar bernama catastrophic forgetting. Istilah ini merujuk pada situasi ketika model AI yang sedang belajar tugas baru justru kehilangan pengetahuan yang sebelumnya telah dikuasai. Kondisi ini memperburuk efektivitas AI pada penggunaan yang menuntut pembelajaran berurutan seperti riset medis ataupun analisis ilmiah di mana pengetahuan lama tetap sangat penting.
Peneliti dari MIT memperkenalkan sebuah metode bernama Self-Distillation Fine-Tuning (SDFT) guna menjawab permasalahan ini. Pendekatan unik SDFT memecah satu model AI ke dalam dua peran berbeda, yaitu "teacher" dan "student". Keduanya berinteraksi agar kemampuan reasoning model tetap terjaga meski harus mempelajari tugas-tugas baru tanpa mengorbankan pengetahuan terdahulu.
Mengapa AI Mudah Lupa Saat Dilatih?
Permasalahan utama catastrophic forgetting terjadi pada metode supervised fine-tuning (SFT) yang umum digunakan saat ini. Ketika model AI di-update dengan data baru, parameter yang berhubungan dengan tugas lama kerap tertimpa oleh parameter dari tugas terkini.
Akibatnya, model yang hendak dikembangkan untuk belajar secara terus-menerus mengalami penurunan performa pada tugas-tugas awal. Dampaknya sangat signifikan pada bidang dimana pengetahuan dari tiap tahap pembelajaran saling terkait erat, seperti diagnostik penyakit, otomasi edukasi, hingga penemuan ilmiah.
Pendekatan SDFT dari MIT
Melalui SDFT, peneliti MIT membagi satu model AI menjadi "teacher" yang berperan sebagai sumber referensi pengetahuan lama, dan "student" yang bertugas belajar dari teacher secara proses reasoning, bukan sekadar meniru output. Dengan demikian, AI dapat belajar dengan mengintegrasi pemikiran serta penalaran, bukan hanya mengingat apa yang sudah pernah dipelajari.
Berikut gambaran fungsi SDFT:
- Teacher memberikan contoh cara berpikir berdasarkan skill atau pengetahuan yang sudah dikuasai.
- Student mengikuti proses reasoning teacher saat menghadapi materi baru, bukan semata menyalin jawaban.
Interaksi dinamis itu membuat model bisa mengadopsi keterampilan baru sembari tetap mengingat keahlian sebelumnya. Metode ini menekankan pentingnya proses bertanya dan bernalar, yang mampu menjaga konteks pengetahuan dari waktu ke waktu.
Keunggulan SDFT Dibanding Metode Konvensional
MIT membuktikan bahwa SDFT memberikan keunggulan penting pada model AI, antara lain:
- Retensi Ilmu Lebih Baik: Model mampu mempertahankan pengetahuan lama meski harus mempelajari tugas baru secara berurutan.
- Reasoning yang Lebih Dalam: Berfokus pada reasoning menjadikan AI tidak hanya mengingat fakta, namun juga memahami proses berpikir untuk integrasi informasi baru.
- Peningkatan Akurasi: SDFT terbukti menghasilkan akurasi yang lebih tinggi pada tugas-tugas yang menuntut reasoning dan kombinasi pengetahuan lama-baru.
Dari pengujian model di berbagai tugas seperti diagnosis medis dan pengambilan keputusan ilmiah, model SDFT secara konsisten mengungguli metode fine-tuning tradisional.
Tantangan Teknis SDFT
Meskipun menjanjikan, SDFT tetap membawa sejumlah tantangan teknis. Salah satunya adalah kebutuhan komputasi lebih tinggi; SDFT rata-rata memerlukan hingga 2,5 kali sumber daya dibandingkan fine-tuning biasa. Selain itu, model berukuran kecil biasanya belum mampu mengimbangi performa model besar pada metode ini.
Masih ditemukan fenomena minor seperti model AI yang kadang mengadopsi gaya bahasa "teacher", hingga sisa penurunan pengetahuan (residual forgetting) walau sudah diminimalisir. Oleh sebab itu, optimalisasi dan penelitian lanjutan pada SDFT sangat dibutuhkan untuk penggunaan secara luas.
Dampak bagi Masa Depan AI Adaptif
Penemuan MIT ini menegaskan pentingnya pendekatan in-context learning dalam pelatihan AI masa kini. Self-Distillation Fine-Tuning membuktikan bahwa model bisa lebih adaptif, meniru pola belajar manusia yang terus berkembang seiring paparan pengetahuan baru.
SDFT membuka peluang besar bagi AI yang mampu belajar secara berkelanjutan di bidang kesehatan, pendidikan, hingga riset ilmiah. Kombinasi kemampuan retensi pengetahuan dan fleksibilitas reasoning tampak ideal untuk aplikasi di dunia nyata yang selalu berubah dan dinamis.
Dengan SDFT, pengembangan AI mulai bergerak ke arah ekosistem sistem adaptif yang dapat terus belajar, berinovasi, dan mengatasi batas “lupa” yang selama ini jadi kendala utama AI. Peneliti berharap metode ini terus ditingkatkan agar dapat menjawab tantangan dunia nyata secara lebih luas dan efektif.