Performa AI AMD dalam putaran terbaru MLPerf inference memang mengejutkan pasar. Dalam beberapa pengujian, akselerator Instinct MI355X mendekat ke level Nvidia B300, dan pada satu benchmark Llama2-70B untuk satu node AMD bahkan melampaui hasil Blackwell sebesar 4%, meski hasil itu berasal dari submission mitra Nvidia, bukan pengujian langsung dari Nvidia sendiri.
Namun, jika pertanyaannya apakah AMD sudah benar-benar mengalahkan Nvidia dalam performa AI secara keseluruhan, jawabannya belum. Nvidia tetap memimpin pada performa per GPU dan per rack melalui Blackwell Ultra B300, sementara AMD baru menunjukkan daya saing kuat di sebagian workload dan masih tertinggal pada benchmark model AI terbaru yang paling menuntut.
Apa yang sebenarnya diukur MLPerf
MLPerf menjadi acuan penting karena ia menguji inferensi AI dalam skenario yang lebih mendekati pemakaian nyata. Tetapi putaran terbaru ini tidak mudah dipakai untuk perbandingan langsung karena tidak semua peserta menguji model yang sama, konfigurasi yang sama, atau format yang benar-benar setara.
Perbedaan antara divisi “Open” dan “Closed” juga penting. Pada divisi Open, peserta boleh memakai model, retraining, serta optimasi pra dan pascaproses yang berbeda selama dataset dan metrik kualitas tetap sama, sedangkan divisi Closed lebih cocok untuk perbandingan “apel dengan apel”.
AMD makin kompetitif, terutama di efisiensi software
Kenaikan AMD tidak datang hanya dari perangkat keras baru. ROCm, platform software GPU milik AMD, tampak makin matang dan ikut mendorong percepatan token generation, sementara MI355X juga memakai presisi FP4 yang lebih kecil dan efisien untuk mengejar throughput lebih tinggi.
Pada satu pengujian, AMD diklaim mencatat performa yang hanya sekitar 12% di bawah Nvidia B300 pada skenario offline untuk model Wan-2.2-t2v, meski hasil itu belum melewati peer review MLCommons. Dalam pengujian lain, AMD juga disebut mencapai skalabilitas hampir linear hingga 11 node atau 88–96 GPU lewat Ethernet dan menembus satu juta token per detik.
Nvidia masih unggul di level sistem
Meski AMD mulai mendekat, Nvidia menunjukkan bahwa keunggulan AI modern tidak lagi hanya ditentukan chip. Pada putaran ini, Nvidia GB300 NVL72 dikabarkan hampir tiga kali lebih cepat dibanding submission awalnya beberapa bulan lalu setelah memakai optimasi software dan manajemen inferensi baru lewat Nvidia Dynamo.
Lonjakan itu penting karena datang dari hardware yang sama. Artinya, optimasi sistem, orkestrasi beban kerja, dan software stack bisa memberi lompatan besar tanpa perlu mengganti chip terlebih dahulu.
Faktor yang membuat Nvidia tetap sulit dikejar
- Disaggregated serving memisahkan tahap prefill dan decode agar masing-masing bisa dioptimalkan.
- Wide Expert Parallel membantu model MoE dengan membagi beban expert across GPU.
- Multi-Token Prediction meningkatkan throughput saat interaktivitas tinggi.
- KV-aware routing mengarahkan permintaan inferensi ke worker yang paling efisien.
Keempat pendekatan ini menunjukkan bahwa Nvidia bermain di level platform, bukan sekadar produk GPU. Itulah alasan hasil benchmark Nvidia bisa naik tajam walau memakai perangkat keras yang sama.
Mengapa satu hasil tidak cukup untuk menyebut AMD menang
AMD memang berhasil mengirim pesan bahwa mereka sudah masuk papan persaingan utama. Data MLPerf terbaru menempatkan MI355X di kisaran sekitar 80% sampai 90% dari performa B300 pada beberapa skenario satu node, yang berarti jaraknya kini jauh lebih dekat dibanding generasi sebelumnya.
Tetapi Nvidia juga tidak diam. Pada benchmark baru yang diikutinya, Nvidia menang di semua pengujian baru tersebut, dan pada dua pengujian yang juga dicoba AMD, Nvidia unggul sekitar 30% dan 50%.
Arah persaingan berikutnya
Persaingan GPU AI kini bergerak ke arah rak terintegrasi, jaringan cepat, software optimasi, dan efisiensi token per watt serta token per dolar. AMD sudah menyiapkan pendekatan skala rak lewat Helios dan MI450, sementara Nvidia mendorong arsitektur Vera Rubin dan perluasan ekosistemnya agar tetap unggul di level sistem.
Dengan kondisi seperti ini, pertanyaan yang paling relevan bukan lagi siapa yang unggul pada satu benchmark tertentu, melainkan siapa yang paling cepat mengonversi kemajuan chip, software, dan infrastruktur menjadi output AI nyata dalam skala besar. Pada titik itu, AMD sudah jauh lebih dekat dari sebelumnya, tetapi Nvidia masih memegang posisi teratas dalam performa AI menyeluruh.