#opg @OpenGradient Cu ceva timp în urmă am testat în mod repetat OpenGradient Chat. Am schimbat intenționat același tip de problemă în multe feluri de prompt și am încercat chiar să ajustezi lungimea contextului. La început am crezut că diferențele se datorează capacității modelului. Apoi, pe măsură ce am răsfoit protocolul, am descoperit că problema poate să nu țină deloc de model. Adevărata variabilă care influențează rezultatul ar putea fi traseul parcurs de sarcină, nu cine finalizează ultima inferență.
Ulterior am revăzut de nenumărate ori procesul de execuție și am observat că OpenGradient acordă multă importanță rutării resurselor. În trecut, mulți obișnuiau să trateze modelul ca pe nucleu: găsești cel mai puternic model și gata. Dar abordarea de la nivelul protocolului este complet diferită. Nu îl interesează care model e cel mai „tare”, ci pe ce cale ar trebui să meargă diferite tipuri de sarcini. Sarcinile simple nu ar trebui să consume resurse complexe, iar sarcinile complexe nici nu ar trebui fixate într-un singur nod. Dacă ordinea de proiectare se schimbă de la „căutarea celui mai bun model” la „căutarea celui mai bun traseu”, în esență se rezolvă problema risipei de resurse și a blocajelor la execuție.
Continuând pe aceeași idee, ajung din ce în ce mai mult să cred că valoarea rețelei provine de fapt din traseu. Odată ce o sarcină intră în protocol, noduri diferite își asumă etape diferite, iar rutarea resurselor se transformă treptat într-o structură stabilă. Traseele stabile reduc costurile de programare, iar când se alătură rețelei modele și noduri noi nu mai este nevoie să reconstruiți întregul sistem; e suficient să fie integrate pe traseele existente. Astfel, capacitatea de extindere vine din coordonarea traseelor, nu dintr-un anumit „model super” — ceea ce seamănă mai mult cu un design ingineresc decât cu o funcționalitate de produs.
Ajungând aici, încep să înțeleg și de ce protocolul are nevoie de Token. Deoarece nodurile oferă resurse, între sarcini există priorități, iar între trasee trebuie făcute ajustări dinamice. Protocolul are nevoie de un mecanism unificat care să coordoneze alocarea resurselor și ordonarea traseelor, altfel întregul sistem de rețea este dificil de menținut stabil. În acest context, Token-ul îndeplinește mai degrabă rolul de instrument de coordonare a resurselor, nu de instrument de guvernare.
Așadar, în prezent, aproape că nu mă mai interesează ce model este mai puternic.
Dimpotrivă, am început să mă concentrez pe o întrebare: ar putea fi o cale de inferență mai importantă decât un model în sine? $OPG
Ulterior am revăzut de nenumărate ori procesul de execuție și am observat că OpenGradient acordă multă importanță rutării resurselor. În trecut, mulți obișnuiau să trateze modelul ca pe nucleu: găsești cel mai puternic model și gata. Dar abordarea de la nivelul protocolului este complet diferită. Nu îl interesează care model e cel mai „tare”, ci pe ce cale ar trebui să meargă diferite tipuri de sarcini. Sarcinile simple nu ar trebui să consume resurse complexe, iar sarcinile complexe nici nu ar trebui fixate într-un singur nod. Dacă ordinea de proiectare se schimbă de la „căutarea celui mai bun model” la „căutarea celui mai bun traseu”, în esență se rezolvă problema risipei de resurse și a blocajelor la execuție.
Continuând pe aceeași idee, ajung din ce în ce mai mult să cred că valoarea rețelei provine de fapt din traseu. Odată ce o sarcină intră în protocol, noduri diferite își asumă etape diferite, iar rutarea resurselor se transformă treptat într-o structură stabilă. Traseele stabile reduc costurile de programare, iar când se alătură rețelei modele și noduri noi nu mai este nevoie să reconstruiți întregul sistem; e suficient să fie integrate pe traseele existente. Astfel, capacitatea de extindere vine din coordonarea traseelor, nu dintr-un anumit „model super” — ceea ce seamănă mai mult cu un design ingineresc decât cu o funcționalitate de produs.
Ajungând aici, încep să înțeleg și de ce protocolul are nevoie de Token. Deoarece nodurile oferă resurse, între sarcini există priorități, iar între trasee trebuie făcute ajustări dinamice. Protocolul are nevoie de un mecanism unificat care să coordoneze alocarea resurselor și ordonarea traseelor, altfel întregul sistem de rețea este dificil de menținut stabil. În acest context, Token-ul îndeplinește mai degrabă rolul de instrument de coordonare a resurselor, nu de instrument de guvernare.
Așadar, în prezent, aproape că nu mă mai interesează ce model este mai puternic.
Dimpotrivă, am început să mă concentrez pe o întrebare: ar putea fi o cale de inferență mai importantă decât un model în sine? $OPG