Myślałem, że uruchamianie większej liczby modeli oznacza wydawanie większych pieniędzy. $OPEN właśnie to obaliło.
Kiedy patrzyłem na projekty budujące inteligentne systemy w kryptowalutach, ten sam problem ciągle się pojawiał.
Pomysły były interesujące. Technologia brzmiała obiecująco. Ale w momencie, gdy zaczynałeś zadawać prawdziwe pytania o koszty i skalę, odpowiedzi stawały się znacznie mniej przekonujące.
Tradycyjne wdrożenie dopasowanego modelu oznaczało uruchomienie całej instancji GPU dla tego pojedynczego modelu. Jeden przypadek użycia. Jeden GPU. Około 3000 dolarów tylko na start. Chcesz uruchomić pięćdziesiąt wyspecjalizowanych modeli? Pomnóż ten koszt przez pięćdziesiąt.
Ta matematyka nigdy nie miała dla mnie sensu.
Nie możesz zbudować otwartej gospodarki wokół inteligencji, jeśli tylko dobrze finansowane zespoły mogą sobie pozwolić na wdrożenie czegokolwiek.
Wtedy natknąłem się na OpenLoRA z @OpenLedger i cała perspektywa się zmieniła.
Koncepcja brzmi prosto, gdy ją zrozumiesz. Zamiast tego, że każdy model potrzebuje swojego dedykowanego GPU, OpenLoRA pozwala tysiącom dostosowanych modeli działać na jednym GPU. Dynamicznie ładuje model, który jest potrzebny w danym momencie, zamiast trzymać wszystko aktywne przez cały czas.
Rezultatem są koszty wdrożenia niższe o nawet 90%.
To, co zwróciło moją uwagę, to nie sama liczba. To, co ta liczba zmienia.
Jeśli wdrożenie staje się dramatycznie tańsze, wąskie gardło przesuwa się. Wyzwanie nie polega już na uzyskaniu dostępu do sprzętu. Wyzwanie polega na zbudowaniu czegoś wystarczająco użytecznego, aby mogło być używane.
Deweloper, który nigdy nie mógł uzasadnić wdrożenia wyspecjalizowanych modeli, nagle ma ścieżkę do zrobienia tego. Więcej eksperymentów staje się możliwych. Więcej niszowych przypadków użycia staje się wykonalnych. Więcej twórców może uczestniczyć.
To wydaje się większą zmianą, niż większość ludzi zdaje sobie sprawę.
OpenLoRA mieści się w szerszym systemie. Datanets organizują i weryfikują zbiory danych z atrybucją. ModelFactory pomaga tworzyć i testować modele bez skomplikowanych procesów roboczych. OpenLoRA zajmuje się warstwą serwisową i sprawia, że szeroka wdrożenie staje się ekonomicznie realistyczne.
Wszystko wraca do tej samej idei.
Ludzie, którzy przyczyniają się do trenowania modeli danych i budowania narzędzi, nie powinni znikać po stworzeniu ostatecznego wyniku.
Tutaj wchodzi dowód atrybucji. Wkłady można śledzić do ich źródła, a wartość może płynąć do tych, którzy pomogli w jego stworzeniu.
Trzymam $OPEN od wrześniowej notowania. Obserwowałem, jak osiągnęło $1.85 w pierwszym dniu, a następnie spadło do $0.17. Wykres był cichy przez długi czas.
Czasami natrafiam na funkcję, która rozwiązuje prawdziwy problem, zamiast tworzyć nową historię.
OpenLoRA to jeden z tych przykładów.
Największą przeszkodą dla inteligentnych systemów może nie być dane. To może nawet nie być obliczenia.
Może to być ekonomika wdrożenia. A obniżenie tej bariery zmienia to, kto może budować.
#OpenLoRA #ProofOfAttribution $LAB
