#NVIDIA #sent
Sentient（Sentient Foundation / Sentient Labs）meluncurkan produk obrolan multi-agen Sentient Chat, yang didasarkan pada model open-source Dobby 70B dan arsitektur kolaborasi multi-agen The GRID, dalam waktu yang sangat singkat mampu menampung jutaan pengguna nyata dan jutaan aliran permintaan, serta latensi respons keseluruhan tetap stabil. Penyebab inti dari hal ini adalah infrastruktur inferensi yang tidak dibangun sendiri, melainkan berjalan di atas platform inferensi cloud yang disediakan oleh Fireworks AI, dengan dasar menggunakan GPU Blackwell generasi terbaru dari NVIDIA, dibandingkan dengan solusi berbasis Hopper sebelumnya, telah mencapai peningkatan sekitar 25%-50% dalam efisiensi biaya dan throughput per unit, yang memungkinkan untuk melayani lebih banyak pengguna bersamaan dan menangani lonjakan lalu lintas tanpa perlu memperluas kapasitas secara linier; dari sudut pandang rekayasa sistem, makna sebenarnya dari kasus ini tidak hanya keberhasilan Sentient itu sendiri, tetapi juga secara jelas membuktikan bahwa kombinasi “model besar open-source + platform inferensi profesional + perangkat keras terbaru” sudah memiliki kemampuan untuk mendukung interaksi dalam skala puluhan juta di dunia nyata. Elemen kunci kompetisi AI sedang beralih dari skala parameter model ke efisiensi inferensi, sistem penjadwalan, dan biaya token per unit, menandakan bahwa AI open-source telah mulai memiliki dasar nyata untuk bersaing secara langsung dengan platform besar yang tertutup dalam hal kinerja dan ekonomi.
Sentient（Sentient Foundation / Sentient Labs）meluncurkan produk obrolan multi-agen Sentient Chat, yang didasarkan pada model open-source Dobby 70B dan arsitektur kolaborasi multi-agen The GRID, dalam waktu yang sangat singkat mampu menampung jutaan pengguna nyata dan jutaan aliran permintaan, serta latensi respons keseluruhan tetap stabil. Penyebab inti dari hal ini adalah infrastruktur inferensi yang tidak dibangun sendiri, melainkan berjalan di atas platform inferensi cloud yang disediakan oleh Fireworks AI, dengan dasar menggunakan GPU Blackwell generasi terbaru dari NVIDIA, dibandingkan dengan solusi berbasis Hopper sebelumnya, telah mencapai peningkatan sekitar 25%-50% dalam efisiensi biaya dan throughput per unit, yang memungkinkan untuk melayani lebih banyak pengguna bersamaan dan menangani lonjakan lalu lintas tanpa perlu memperluas kapasitas secara linier; dari sudut pandang rekayasa sistem, makna sebenarnya dari kasus ini tidak hanya keberhasilan Sentient itu sendiri, tetapi juga secara jelas membuktikan bahwa kombinasi “model besar open-source + platform inferensi profesional + perangkat keras terbaru” sudah memiliki kemampuan untuk mendukung interaksi dalam skala puluhan juta di dunia nyata. Elemen kunci kompetisi AI sedang beralih dari skala parameter model ke efisiensi inferensi, sistem penjadwalan, dan biaya token per unit, menandakan bahwa AI open-source telah mulai memiliki dasar nyata untuk bersaing secara langsung dengan platform besar yang tertutup dalam hal kinerja dan ekonomi.