#Huawei a intrat pe piața GPU-urilor cu opțiuni mai ieftine pentru Huawei Atlas 300I Duo, acestea fiind GPU-uri cu 96GB VRAM sub 2000$. Nu sunt la fel de rapide ca GPU-urile de top ale lui #NVIDIA , dar:

>Pot rula modele de 70B local fără descărcare

>Compacte și eficiente din punct de vedere energetic (150W TDP)

>Suport software deja existent (llama.cpp + torch-npu)

Compensarea? Lățime de bandă a memoriei mai mică și viteză de procesare mai lentă. Dar pentru oricine este blocat de VRAM, aceasta este o descoperire.

Concluzia: Nu înlocuiește un 4090 pentru viteză, dar s-ar putea să fie regele bugetului pentru LLM-uri masive locale.

#AI