#OPG $OPG @OpenGradient Wszyscy celebrują wzrost sieci, kiedy rośnie liczba operatorów.

Zaczynam jednak myśleć, że to zły wskaźnik.

Żądanie nie interesuje się tym, ile istnieje węzłów. Liczy się tylko to, czy sieć potrafi pomyślnie przejść całą ścieżkę w momencie, gdy żądanie nadchodzi.

Żądanie
↓
Dostępność modelu?
↓
Moc obliczeniowa?
↓
Trasa o niskich opóźnieniach?
↓
Ścieżka weryfikacji?
↓
Pomyślna odpowiedź

Ciekawostka polega na tym, że każdy krok może stać się wąskim gardłem.

Sieć może reklamować setki operatorów, ale brak pojedynczego modelu, przeciążony klaster GPU, zepsuta trasa weryfikacji lub awaria regionalna nadal mogą sprawić, że żądania będą się nie udawać.

Liczy się nie liczba operatorów.

Liczy się odporność pod presją.

Czy sieć nadal dostarczy, gdy popyt skoczy?
Czy przetrwa awarię regionu chmury?
Czy utrzyma weryfikację, gdy słabną zachęty?
Czy będzie nadal obsługiwać obciążenia wymagające konkretnych modeli, a nie ogólnych mocy obliczeniowych?

Dlatego poświęcam większą uwagę jakości pokrycia niż liczbom uczestników.

Prawdziwy test dla OPG nie będzie kolejnym ogłoszeniem wzrostu.

To będzie pierwsza chwila, kiedy sieć będzie obciążona, a użytkownicy nigdy tego nie zauważą, bo wszystko wciąż działa.