High Bandwidth Memory (HBM) masih menjadi memori khusus yang hanya digunakan oleh hyperscaler dan sangat terkait dengan akselerator AI. HBM diciptakan untuk memenuhi kebutuhan bandwidth sangat tinggi yang diperlukan dalam komputasi performa tinggi dan kecerdasan buatan. Penggunaan HBM di luar sektor tersebut masih sangat terbatas, terutama karena desain dan biaya pembuatannya yang kompleks.
HBM3 saat ini menggunakan hingga 1024 pin yang sudah mencapai batas maksimum pengemasan interposer silikon dan teknik pengemasan canggih. Untuk menghadapi kendala ini, JEDEC mengembangkan Standard Package High Bandwidth Memory 4 (SPHBM4) sebagai alternatif yang menawarkan performa bandwidth setara dengan jumlah pin yang jauh lebih sedikit. SPHBM4 menggunakan 512 pin dengan teknik serialisasi 4:1 sehingga satu pin dapat menangani beban kerja yang setara dengan empat pin HBM4.
Keunggulan SPHBM4 dalam Desain dan Biaya
Teknologi serialisasi pada SPHBM4 memindahkan kompleksitas dari jumlah pin ke teknologi sinyal dan desain logika dasar. Dengan pengurangan pin, jarak antar kontak menjadi lebih longgar sehingga memungkinkan penggunaan substrat organik yang lebih murah dibandingkan substrat silikon. Substrat silikon memiliki pitch interkoneksi sekitar 10 mikrometer, sementara substrat organik biasanya memiliki pitch sekitar 20 mikrometer dan biaya produksinya lebih rendah.
Perubahan ini membuka kemungkinan penggunaan interposer berbasis substrat organik dalam pengemasan memori, menggantikan interposer silikon tradisional yang lebih mahal. Meski demikian, kapasitas memori per tumpukan pada HBM4 dan SPHBM4 diperkirakan tetap sama. Penggunaan substrat organik dapat memungkinkan panjang kanal komunikasi lebih panjang antara akselerator dan tumpukan memori. Akibatnya, solusi ini berpotensi menambah jumlah tumpukan memori dalam satu paket dan meningkatkan kapasitas total.
Penggunaan Terbatas di Ekosistem Hyperscaler
HBM sejauh ini bukan memori untuk keperluan umum atau konsumen. Penggunaannya terkonsentrasi pada akselerator AI, komputasi performa tinggi, dan GPU di pusat data milik hyperscaler. Dalam konteks ini, bandwidth memori merupakan faktor penting yang langsung memengaruhi efisiensi pendapatan, sehingga investasi pada teknologi memori mahal ini masih dianggap wajar.
SPHBM4 tidak mengubah paradigma tersebut, karena teknologi ini mempertahankan bandwidth dan kapasitas HBM dengan optimasi biaya khusus untuk kebutuhan hyperscale. Meski menawarkan pengurangan biaya, SPHBM4 tidak menyasar pasar RAM konsumen yang menggunakan arsitektur DIMM dan desain motherboard berbeda. Ini karena HBM termasuk memori bertumpuk dengan logika dasar yang sangat terintegrasi dan keterikatan ketat pada akselerator, yang tidak cocok untuk pasar konsumen.
Peran Besar Para Pemasok dan Pengembangan Standar
Untuk mewujudkan adopsi SPHBM4, dukungan dari pemasok utama sangat krusial. JEDEC sendiri mendeklarasikan bahwa anggota mereka aktif membentuk standar generasi berikutnya untuk modul yang digunakan di pusat data AI. Perusahaan-perusahaan besar seperti Micron, Samsung, dan SK Hynix telah terlibat dalam pengembangan teknologi HBM4E.
Sebagai gambaran kapabilitas aksesori teknologi tersebut, sebuah perusahaan pembuat basis logika die menyatakan telah menunjukkan solusi interkoneksi yang mampu mencapai bandwidth hingga 4TB/s dalam pengemasan standar. Bandwidth ini dua kali lipat dari kebutuhan standar HBM4, dan mereka menantikan pengembangan SPHBM4 yang sudah difasilitasi oleh JEDEC.
Ringkasan Kunci Inovasi dalam SPHBM4
- Pin count dikurangi hingga 512 dengan teknik serialisasi 4:1.
- Penggunaan substrat organik yang lebih murah menggantikan substrat silikon.
- Bandwidth tetap setara dengan HBM4 tanpa mengurangi kapasitas.
- Peluang penambahan jumlah tumpukan memori dalam satu paket.
- Fokus pada kebutuhan hyperscaler dan akselerator AI, bukan pasar konsumen.
SPHBM4 menjadi solusi untuk tekanan desain pengemasan dan biaya di kalangan hyperscaler, tanpa menghilangkan kekuatan bandwidth tinggi yang dibutuhkan untuk akselerasi AI dan komputasi performa tinggi. Teknologi ini memperjelas arah perkembangan memori khusus yang sangat erat kaitannya dengan ekosistem akselerator AI kelas atas dan pusat data skala besar.
