AI Inferensi, Menyalip di Tikungan

Selama bertahun-tahun, Nvidia mendominasi bidang chip AI, meskipun perusahaan lain terus mencoba, tetapi tidak dapat menggoyahkan posisi dominannya.

Namun kini, situasinya sedang berubah. "Perhitungan inferensi" menjadi kata kunci dalam revolusi teknologi AI ini.

Baik raksasa teknologi maupun startup kecil, semuanya menargetkan jalur untuk mengembangkan chip yang disesuaikan untuk AI, seperti Groq, Cerebras Systems, dan sebagainya.

Meta adalah contoh yang khas. Meskipun mereka menggunakan chip Nvidia untuk melatih Llama3.1 405B, dalam memberikan layanan kepada pengguna, mereka menggunakan chip AMD MI300s.