#NVIDIA #sent
Sentient（Sentient Foundation / Sentient Labs）a lansat produsul de chat multi-agent Sentient Chat, bazat pe modelul său open-source Dobby 70B și arhitectura multi-agent The GRID, care a susținut în foarte scurt timp milioane de utilizatori reali și milioane de cereri de trafic, menținând în același timp o întârziere generală stabilă. Motivul principal este că infrastructura de inferență nu este construită intern, ci rulează pe platforma de inferență în cloud oferită de Fireworks AI, folosind cele mai recente GPU-uri Blackwell de la NVIDIA, realizând o îmbunătățire de aproximativ 25%–50% în costul pe unitate și eficiența de procesare comparativ cu soluția anterioară bazată pe Hopper. Acest lucru permite servirea unui număr mai mare de utilizatori concurenți cu același buget și scală hardware, făcând față traficului de vârf fără a necesita scalare liniară; din perspectiva ingineriei sistemelor, adevărata semnificație a acestui caz nu este doar succesul lui Sentient, ci dovedește clar că combinația „model open-source + platformă de inferență profesională + hardware de ultimă generație” are deja capacitatea de a susține interacțiuni de milioane în lumea reală. Factorii-cheie de competiție ai AI se mută de la dimensiunea parametrilor modelului la eficiența inferenței, sistemul de programare și costul pe token, marcând începutul unei competiții directe între AI open-source și platformele mari închise în ceea ce privește performanța și economia.
