Saat Claude Code Menilai Diri Sendiri, Loop Otonom Ini Memangkas Trial and Error

Loop evaluasi otonom di Claude Code menjadi pendekatan praktis untuk membangun kemampuan AI yang terus membaik tanpa banyak campur tangan manual. Intinya, sistem ini menguji keluaran, menilai hasil dengan metrik yang sudah ditetapkan, lalu memperbaiki instruksi atau deskripsi skill sampai performanya meningkat secara terukur.

Pendekatan ini banyak dibahas lewat kerangka “auto-research” yang dipopulerkan Andrej Karpathy dan diterapkan secara praktis oleh Simon Scrapes untuk pengembangan skill di Claude Code. Model kerjanya sederhana, tetapi disiplin: uji, analisis, lalu revisi hanya jika perubahan terbukti memberi hasil lebih baik.

Apa itu autonomous evaluation loop di Claude Code

Autonomous evaluation loop adalah siklus evaluasi berulang yang berjalan otomatis untuk memperbaiki skill AI. Claude Code menjalankan tugas tertentu, memeriksa hasilnya terhadap aturan lulus atau gagal, lalu mengulang perbaikan sampai target tercapai atau proses dihentikan.

Dalam kerangka ini, evaluasi tidak bergantung pada penilaian umum yang kabur. Sistem memakai metrik yang jelas dan dapat diuji, sehingga kemajuan bisa dibaca dari data, bukan dari kesan semata.

Simon Scrapes menjelaskan bahwa proses ini efektif jika indikator keberhasilan dibuat sesederhana mungkin. Contohnya adalah pemeriksaan biner, seperti benar atau salah untuk jumlah kata, struktur kalimat, atau kepatuhan pada aturan format tertentu.

Kerangka kerja tiga tahap

Ada tiga tahap utama yang menjadi fondasi loop evaluasi otonom. Ketiganya saling terhubung dan bisa dijalankan berkali-kali.

1. Testing
   AI menjalankan skill dan menghasilkan output berdasarkan prompt atau tugas yang diberikan.

2. Analyzing
   Output diperiksa memakai metrik yang sudah didefinisikan sebelumnya untuk melihat apakah hasil lolos atau gagal.

3. Refining
   Instruksi, file skill, atau deskripsi YAML diperbarui bila perubahan meningkatkan skor evaluasi, dan dikembalikan bila tidak ada dampak yang terukur.

Metode ini penting karena mendorong pengembangan yang berbasis bukti. Jika suatu revisi tidak menambah kualitas hasil, sistem tidak perlu mempertahankannya.

Mengapa YAML dan assertion biner penting

Pada Claude Code, skill biasanya ditopang oleh file terstruktur seperti program.md, skill.md, deskripsi YAML, dan skrip pelatihan atau evaluasi. Deskripsi YAML berfungsi sebagai penjelas tugas, konteks, syarat aktivasi, dan ekspektasi output.

Jika deskripsi ini ambigu, AI lebih mudah salah memahami tugas. Karena itu, pengujian berulang pada YAML menjadi bagian penting agar instruksi makin presisi dan aktivasi skill makin akurat.

Assertion biner dipakai untuk menjaga evaluasi tetap objektif. Beberapa contoh metrik yang relevan antara lain:

Metrik seperti ini cocok untuk tugas teknis, penulisan terstruktur, dan pekerjaan yang punya standar jelas. Pendekatan tersebut juga mengurangi ruang perdebatan saat sistem menilai hasilnya sendiri.

Langkah praktis menerapkan loop evaluasi

Implementasi paling dasar bisa dimulai dari folder evaluasi khusus. Di dalamnya, pengembang menyiapkan eval.json yang berisi assertion untuk menguji hasil skill.

Berikut alur praktis yang bisa diikuti:

1. Buat folder eval dan file eval.json.
2. Tulis assertion biner sesuai tujuan task.
3. Jalankan prompt uji untuk menghasilkan output.
4. Cocokkan output dengan assertion yang ada.
5. Revisi skill.md atau deskripsi YAML jika hasil gagal.
6. Ulangi proses secara otomatis sambil mencatat perubahan dan skor.

Pencatatan iterasi penting untuk melihat tren perbaikan. Dengan log yang rapi, pengembang dapat mengetahui perubahan mana yang benar-benar berkontribusi terhadap kualitas.

Dua lapisan peningkatan yang perlu dibedakan

Loop evaluasi otonom di Claude Code bekerja pada dua level. Level pertama adalah peningkatan aktivasi skill, dan level kedua adalah peningkatan mutu output.

Peningkatan aktivasi skill fokus pada perbaikan deskripsi YAML agar sistem memahami kapan dan bagaimana skill harus dipakai. Peningkatan mutu output fokus pada hasil akhir, misalnya apakah teks sesuai struktur, aturan, atau target pengguna.

Pemisahan ini berguna karena sumber masalah tidak selalu ada pada model atau output akhir. Sering kali masalah muncul dari instruksi yang kurang spesifik sejak awal.

Contoh penggunaan pada copywriting pemasaran

Simon Scrapes memberi contoh pada skill copywriting pemasaran. Evaluasi dilakukan dengan memeriksa jumlah kata, struktur kalimat, dan penggunaan teknik persuasif yang telah ditentukan.

Hasil awal menunjukkan adanya ketidakkonsistenan. Namun setelah dua siklus penyempurnaan, skill tersebut disebut mencapai skor sempurna pada kriteria yang diuji.

Contoh ini menunjukkan bahwa loop evaluasi otonom bukan hanya teori untuk eksperimen laboratorium. Pendekatan tersebut dapat dipakai untuk kebutuhan bisnis yang menuntut output stabil dan mudah diaudit.

Batasan yang tetap perlu diawasi manusia

Meski efektif, assertion biner punya keterbatasan. Sistem ini unggul untuk mengecek struktur dan kepatuhan format, tetapi belum ideal untuk menilai nada, kreativitas, atau kecocokan konteks yang sifatnya subjektif.

Karena itu, pengawasan manusia tetap dibutuhkan pada tugas yang menuntut nuansa. Penilaian editorial, kesesuaian dengan identitas merek, dan kualitas narasi masih lebih aman ditinjau oleh evaluator manusia sebelum skill dipakai luas dalam alur kerja produksi.