PART 2 : Perang berikutnya bukan GPU, tetapi inference dan Memori

Selama awal ledakan AI, perhatian tertuju pada training proses melatih model dengan data dalam jumlah luar biasa besar. Kini medan perang mulai bergeser ke inference. Setiap kali seseorang meminta AI membuat gambar, merangkum dokumen, menerjemahkan bahasa, menjalankan AI agent atau menjawab pertanyaan, pusat data harus melakukan komputasi. Jika miliaran orang menggunakan AI setiap hari, biaya terbesar bukan lagi hanya membuat modelnya. Biayanya adalah menjalankan model tersebut terus-menerus. Karena itu perusahaan mulai mencari chip yang lebih murah dan hemat energi untuk inference.

Bahkan muncul pendekatan baru seperti accelerator yang mengintegrasikan memori lebih dekat dengan komputasi. d-Matrix, misalnya, memperkenalkan arsitektur yang menggabungkan accelerator dengan DRAM secara 3D dan mengklaim bandwidth hingga 100 TB/s per kartu.

Satu komponen yang sering dilupakan: memori

GPU tanpa memori berkecepatan tinggi tidak akan optimal. Karena itu HBM atau High Bandwidth Memory menjadi salah satu komponen paling strategis dalam AI. Samsung, SK hynix dan Micron berlomba memasok HBM untuk accelerator AI. Ketika permintaan AI meningkat, persaingan tidak hanya terjadi di antara pembuat GPU, tetapi juga di antara perusahaan pembuat memori dan advanced packaging.

Bahkan NVIDIA kini mengembangkan NVHBM, dengan klaim peningkatan bandwidth hingga 30% dan konsumsi daya 15% lebih rendah dibanding pendekatan HBM4E tertentu. Dengan kata lain, AI bukan hanya perang silicon. AI adalah perang seluruh rantai semikonduktor.