Penggunaan file context seperti AGENTS.md untuk memperkuat performa coding agent tengah menjadi pembahasan penting di kalangan pengembang AI. Studi terbaru dari ETH Zurich mengungkap data menarik: file AGENTS.md yang ditulis langsung oleh developer mampu meningkatkan hasil kerja agent hingga 4 persen. Namun, peningkatan ini juga dibarengi dengan lonjakan biaya proses inference yang berarti.
Fakta ini menjawab pertanyaan utama para developer: apakah investasi waktu dan biaya dalam membuat konteks file secara manual akan menghasilkan kemajuan signifikan pada software development berbasis AI agent. ETH Zurich meneliti ribuan repository GitHub dan menemukan lanskap pemanfaatan file konteks sangat bervariasi tergantung kualitas dokumentasi proyek tersebut.
Perbedaan File Context Otomatis dan Manual
Ada dua tipe file context yang umum diintegrasikan pada proyek perangkat lunak modern, yaitu file buatan otomatis (autogenerated) dan file yang disusun langsung oleh developer. File otomatis biasanya dihasilkan oleh AI tool dengan menyediakan ringkasan kode atau instruksi terkait. Namun, penelitian menemukan seringkali file ini justru membawa informasi redundant atau tidak relevan hingga menambah kompleksitas kerja agent.
Sementara itu, file AGENTS.md yang ditulis manual oleh pengembang memang membutuhkan usaha lebih besar. Tetapi secara rata-rata mampu memperbaiki performa sebanyak 4 persen pada task agent, khususnya pada repository yang minim dokumentasi. Namun, setiap penambahan file semacam ini juga meningkatkan cost inference yang harus dikeluarkan oleh pengembang.
Temuan dari Studi: Efek Terhadap Efisiensi dan Biaya
Studi dari ETH Zurich menggunakan dua benchmark pengujian berbeda untuk mengukur dampak file context. Benchmark pertama, SWE Light, menguji 300 task dari repository Python populer yang tidak mempunyai file context manual. Benchmark kedua, AgentBench, menilai 138 task dari repository dengan AGENTS.md hasil penulisan manual.
Hasilnya memperlihatkan:
- Autogenerated Context:
- Menambah biaya inference lebih dari 20 persen.
- Sering mengurangi tingkat keberhasilan agent akibat kelebihan info tidak berguna.
- Developer-Written Context:
- Meningkatkan performa agent sekitar 4 persen.
- Menambah biaya inference, meski nilainya lebih terkendali.
- Manfaat nyata hanya pada repository dengan dokumentasi kurang baik.
Tabel berikut meringkas temuan utama:
| Jenis File | Pengaruh pada Performa | Dampak Biaya | Efektivitas |
|---|---|---|---|
| Otomatis | Minim/negatif | Naik signifikan | Bermanfaat jika dokumentasi sangat minim |
| Manual (Developer) | Naik 4% | Naik | Efektif pada dokumentasi lemah |
Rekomendasi Praktis untuk Pengembang
Berdasarkan data empiris, tim penelitian menyarankan beberapa strategi agar pengembang tidak membuang resource, baik waktu maupun biaya, secara sia-sia. Berikut rekomendasi utama yang bisa dijadikan pedoman:
- Prioritaskan dokumentasi yang jelas dan ringkas pada repository.
- Gunakan file context manual hanya jika dokumentasi proyek sangat minim.
- Hindari memberikan instruksi membingungkan atau terlalu kompleks ke agent.
- Evaluasi rasio manfaat dan beban biaya jika ingin menambah file context, baik otomatis maupun manual.
- Perhatikan bias bahasa pada data pelatihan agent, yang pada penelitian ini didominasi Python.
Pertimbangan Bahasa dan Jenis Repository
Hasil penelitian ini juga menyoroti adanya bias bahasa pemrograman, karena sample didominasi repository Python. Hal ini menunjukkan perlunya pengujian lebih lanjut pada lingkungan bahasa lain agar hasil rekomendasi lebih general dan relevan secara luas.
Dalam dunia pengembangan perangkat lunak berbasis AI agent, kualitas dokumen dan relevansi context menentukan efisiensi eksekusi task. Pengembang kini dihadapkan pada pilihan: berinvestasi pada dokumentasi berkualitas tinggi atau menyusun context secara spesifik bagi agent dengan tetap memantau beban biaya tambahan yang muncul. Temuan ini akan membantu komunitas teknologi membuat keputusan data-driven saat mengoptimalkan pipeline kerja coding agent di masa mendatang.
