Sekarang ada pembicaraan yang terjadi di AI yang hampir tidak pernah sampai ke crypto Twitter.
Ini bukan tentang mana model yang lebih pintar. Ini bukan tentang timeline AGI atau harga token. Ini tentang sesuatu yang jauh lebih membosankan dan jauh lebih penting. Bagaimana cara menjalankan ribuan model AI khusus tanpa menghabiskan banyak uang untuk komputasi?
Kebanyakan orang yang membangun di ruang ini tidak memikirkan hal ini sampai mereka mengalaminya. Kamu menyempurnakan model untuk tugas tertentu seperti kueri medis, penyusunan hukum, dukungan pelanggan dalam tiga bahasa. Itu berjalan. Lalu kamu mencoba untuk menskalakan. Dan kamu menyadari bahwa setiap model membutuhkan instans GPU-nya sendiri. Setiap kasus penggunaan baru mengalikan tagihan infrastruktur kamu. Ekonomi runtuh sebelum produk itu sendiri.