Am observat ceva interesant în timp ce urmăream cum cererile AI se mișcă prin rețelele descentralizate.
Nu modelele în sine.
Ci sincronizarea.
Unele noduri par să fie inundate de cereri în timp ce altele stau aproape inerte, chiar și atunci când ambele au resurse similare. La început, părea o problemă simplă de trafic.@OpenGradient
Dar cu cât mă uitam mai mult, cu atât părea mai puțin simplu.
În cele mai multe sisteme, coordonarea este invizibilă până când începe să eșueze. O răspuns întârziat aici, un nod supraîncărcat acolo, și dintr-o dată întreaga experiență pare mai lentă chiar dacă rețeaua are tehnic suficientă capacitate.
Îmi amintește de ceea ce se întâmplă în Web 3 în timpul activității de vârf. Toată lumea se grăbește spre aceeași oportunitate în același moment. Infrastructura nu duce lipsă de resurse.
Provocarea este distribuirea eficientă a atenției.
Ia în considerare o aplicație AI care primește mii de cereri de inferență în câteva minute.
Dacă coordonarea sarcinilor nu este suficient de inteligentă, unele noduri ajung să fie copleșite în timp ce altele contribuie aproape deloc.
Asta creează o tensiune interesantă.
Mai mulți participanți nu înseamnă automat o performanță mai bună.
$OPG
Uneori, adevărata provocare nu este adăugarea de mai multă infrastructură. Este decizia despre unde ar trebui să meargă munca, când ar trebui să ajungă acolo și cine ar trebui să se ocupe de ea.
Mă întreb dacă cel mai mare bottleneck al AI-ului descentralizat este calculul...
Sau coordonarea în sine.#opg
Nu modelele în sine.
Ci sincronizarea.
Unele noduri par să fie inundate de cereri în timp ce altele stau aproape inerte, chiar și atunci când ambele au resurse similare. La început, părea o problemă simplă de trafic.@OpenGradient
Dar cu cât mă uitam mai mult, cu atât părea mai puțin simplu.
În cele mai multe sisteme, coordonarea este invizibilă până când începe să eșueze. O răspuns întârziat aici, un nod supraîncărcat acolo, și dintr-o dată întreaga experiență pare mai lentă chiar dacă rețeaua are tehnic suficientă capacitate.
Îmi amintește de ceea ce se întâmplă în Web 3 în timpul activității de vârf. Toată lumea se grăbește spre aceeași oportunitate în același moment. Infrastructura nu duce lipsă de resurse.
Provocarea este distribuirea eficientă a atenției.
Ia în considerare o aplicație AI care primește mii de cereri de inferență în câteva minute.
Dacă coordonarea sarcinilor nu este suficient de inteligentă, unele noduri ajung să fie copleșite în timp ce altele contribuie aproape deloc.
Asta creează o tensiune interesantă.
Mai mulți participanți nu înseamnă automat o performanță mai bună.
$OPG
Uneori, adevărata provocare nu este adăugarea de mai multă infrastructură. Este decizia despre unde ar trebui să meargă munca, când ar trebui să ajungă acolo și cine ar trebui să se ocupe de ea.
Mă întreb dacă cel mai mare bottleneck al AI-ului descentralizat este calculul...
Sau coordonarea în sine.#opg