Node-urile proxy LLM nu rulează modelele în sine. Ele stau într-un enclave TEE și redirecționează cererile către furnizori precum OpenAI, Anthropic, Google sau xAI în numele utilizatorului.
Enclave-ul se ocupă de trei lucruri deodată. confidențialitate, deoarece operatorul nodului nu poate vedea, înregistra sau manipula datele cererilor. anonimat, deoarece cererile sunt distribuite între noduri și nu pot fi legate de o singură identitate. integritate, deoarece atestarea dovedește că enclave-ul a rulat cod nealterat.
Ce este notabil este că OpenGradient nu trebuie să găzduiască fiecare model în sine pentru a face acest lucru verificabil. Structura proxy înseamnă că decontarea OPG și atestarea TEE se aplică chiar și atunci când inferența efectivă se întâmplă complet pe infrastructura altcuiva.
Am lucrat cu un gateway API care a pretins garanții de izolare similare fără nicio atestare în spatele afirmației, doar un paragraf în documentație.
Partea deschisă este ce se întâmplă dacă furnizorul terț își schimbă comportamentul API fără notificare. Prinde enclave-ul asta, sau pur și simplu trece noul comportament ca și cum nimic nu s-ar fi schimbat.
@OpenGradient $OPG #OPG
$TNSR

$LAB
#Fed