Samsung Electronics dan Sandisk tengah mengembangkan teknologi memori High-Bandwidth Flash (HBF) untuk meningkatkan performa GPU dan beban kerja kecerdasan buatan (AI). Teknologi ini dirancang untuk melengkapi High-Bandwidth Memory (HBM) yang saat ini digunakan sebagai cache cepat dalam GPU dari Nvidia, AMD, dan Google.
HBF menawarkan kapasitas memori hingga sepuluh kali lipat dari HBM meskipun dengan kecepatan yang lebih rendah. Integrasi HBF diperkirakan akan rampung dalam 24 bulan ke depan, memungkinkan pemrosesan data yang lebih efisien dan kapasitas penyimpanan lebih besar untuk aplikasi AI yang semakin kompleks.
Perbandingan Teknologi HBM dan HBF
HBM digunakan sebagai cache utama di GPU untuk membaca data kunci-nilai (KV) dengan kecepatan tinggi. Namun, kapasitas HBM terbatas dan biaya produksinya sangat tinggi. Sebaliknya, HBF memiliki kapasitas yang jauh lebih besar, dengan kemampuan mencapai 512GB per unit, tetapi memiliki kecepatan baca-tulis yang lebih rendah dibandingkan HBM.
Prof. Kim Joungho dari KAIST menjelaskan bahwa proses inferensi AI menggunakan HBM untuk membaca data variabel secara cepat. HBF akan berperan sebagai lapisan memori tambahan yang membantu menyimpan dan mengakses data dalam jumlah besar secara bertingkat. Meski HBF memiliki batasan ~100.000 penulisan per modul, tidak ada batasan untuk jumlah pembacaannya sehingga perangkat lunak AI harus dioptimalkan untuk mengurangi frekuensi penulisan.
Teknologi dan Struktur Memori HBF
HBF memanfaatkan tumpukan beberapa lapisan 3D NAND secara vertikal yang disambungkan dengan teknologi through-silicon vias (TSV), mirip dengan susunan tumpukan DRAM dalam HBM. Cara ini memungkinkan peningkatan bandwidth data mencapai 1.638TBps, jauh melampaui kecepatan SSD NVMe standar PCIe 4.0.
Perusahaan seperti SK Hynix dan Sandisk telah memamerkan prototipe dan diagram konseptual untuk teknologi ini, sedangkan SK Hynix dijadwalkan merilis prototipe HBF pada akhir Januari. Upaya standardisasi sedang dilakukan oleh konsorsium industri yang melibatkan berbagai pemangku kepentingan agar teknologi ini dapat diterapkan secara luas.
Dampak Terhadap Performa GPU dan Beban Kerja AI
Integrasi HBF akan memungkinkan GPU mengakses dataset yang jauh lebih besar melalui skema memori berjenjang HBM-HBF. Hal ini sangat penting untuk mendukung beban kerja AI generasi berikutnya yang memerlukan kapasitas data besar tetapi tetap menginginkan kecepatan akses tinggi.
Perpaduan kedua teknologi ini diharapkan dapat mempercepat inferensi dan pelatihan AI, serta mengurangi bottleneck yang selama ini terjadi akibat keterbatasan kapasitas memori pada GPU konvensional. Selain itu, adopsi HBF akan menekan biaya produksi dengan menggeser porsi kapasitas ke memori flash yang lebih murah dibanding HBM.
Prediksi dan Tren Masa Depan
Dalam beberapa tahun ke depan, adopsi HBF diprediksi akan semakin cepat, terutama dengan kemunculan standar HBM6 yang didukung oleh produsen seperti Kioxia. Kioxia telah membuat prototipe modul HBF berkapasitas 5TB dengan PCIe Gen 6 x8 pada kecepatan 64Gbps yang menunjukkan lonjakan signifikan dalam kapasitas dan kecepatan transfer data.
Prof. Kim memperkirakan bahwa pasar HBF bahkan berpotensi melampaui HBM pada tahun 2038. Transformasi ini akan membawa perubahan besar dalam desain arsitektur memori GPU, serta memperkuat ekosistem AI dan komputasi performa tinggi di berbagai industri.
Tabel Perbandingan HBM dan HBF
| Aspek | HBM | HBF |
|---|---|---|
| Kapasitas | Terbatas (standar sekarang 512GB) | Hingga 10x lipat HBM (512GB ke atas) |
| Kecepatan | Sangat tinggi | Lebih rendah dari HBM |
| Biaya Produksi | Mahal | Lebih murah daripada HBM |
| Batasan Penulisan | Tidak signifikan | Sekitar 100.000 penulisan |
| Teknologi | Tumpukan DRAM dengan TSV | Tumpukan 3D NAND dengan TSV |
Sebagai tambahan, integrasi teknologi HBF juga akan mendorong inovasi dalam pengembangan perangkat lunak AI. Developer harus mengoptimalkan kode agar lebih banyak melakukan pembacaan dan mengurangi penulisan pada memori HBF, demi memaksimalkan umur dan performa perangkat.
Pengembangan ini menjadi tanda kemajuan signifikan di bidang komputasi dan AI. Dengan memanfaatkan HBF, produsen chip dapat mengatasi tantangan kapasitas memori tanpa mengorbankan kecepatan akses data, membuka pintu untuk aplikasi AI yang lebih kompleks dan real-time. Koordinasi antara Samsung Electronics, Sandisk, dan perusahaan teknologi ternama lainnya menegaskan potensi besar HBF dalam revolusi teknologi GPU dan AI ke depan.