vllm

Prime Intellect lansează o previzualizare a Stivei de Inferență pentru a superîncărca AI-ul descentralizat!
🧠⚙️🚀

Prime Intellect, un protocol AI descentralizat, tocmai a dezvăluit o previzualizare a Stivei de Inferență — concepută pentru a aborda provocările majore ale AI-ului, cum ar fi:
⏱️ Eficiența decodării autoregresive
🧠 Blocajele de memorie din cache KV
🌐 Latenteța rețelelor publice

Stiva folosește un design paralel de tip pipeline pentru o densitate computațională mare și execuție asincronă, facilitând scalarea modelelor mari pe GPU-uri precum RTX 3090 & 4090 🔥💻.

Pe lângă previzualizare, au lansat 3 unelte open-source:

PRIME-IROH: Backend de comunicare P2P

PRIME-VLLM: Conectează vLLM cu paralelismul pipeline pe rețele publice

PRIME-PIPELINE: Un sandbox de cercetare pentru dezvoltatori & entuziaști AI

Aceasta este o mare victorie pentru spațiul Web3 + AI — combinând descentralizarea cu învățarea automată de vârf!

#PrimeIntellect #AIprotocols #Web3AI #vLLM #DeAI #CryptoNews