Kim jestem? AI przedsiębiorca, który uważa, że ma trochę technicznych aspiracji, a jednocześnie prawie oszalał z powodu rachunków za moc obliczeniową. Nasz produkt to narzędzie wideo AI skierowane do twórców treści; model nie jest duży, ale zapotrzebowanie na wnioskowanie wybucha w zupełnie nieprzewidywalny sposób. Korzystanie z tradycyjnych usług chmurowych jest jak posiadanie w centrum miasta potwora pożerającego pieniądze: aby poradzić sobie z potencjalnymi szczytami, musisz na dłużej wynająć dużą przestrzeń, która przez większość czasu pozostaje pusta, a pieniądze się palą; gdy rzeczywiście nastąpi szczyt, tymczasowe zwiększenie mocy jest zarówno wolne, jak i drogie, a użytkownicy narzekają.
Najbardziej frustrujący moment to, gdy jedno z naszych wideo nagle stało się popularne w mediach społecznościowych, a chwilowy ruch zrujnował usługę. Grupa automatycznego skalowania bezustannie próbuje uruchomić nowe instancje, ale te kilka minut zimnego uruchomienia, każda minuta to strata użytkowników. Patrzyłem z CTO na panel monitorowania, dłonie całe w pocie, czując, że to nie moc obliczeniowa się pali, ale nasze finansowanie i przyszłość.
Później, po głębokim namyśle, postanowiliśmy poszukać bardziej „elastycznego” rozwiązania. Kontakt z @undefined był całkowitym przypadkiem, ale jego koncepcja projektowa natychmiast mnie uderzyła: otwarty, wyceniany przez rynek zbiornik mocy obliczeniowej. Postanowiliśmy zaryzykować i przekazać część niekluczowych, ale mocno obciążających zadań wnioskowania.
Stworzyliśmy własny inteligentny harmonogram. Mówiąc prosto, to oznacza, że nadajemy każdemu zapytaniu użytkownika „cenę”, a zadania, które są gotowe poczekać trochę dłużej i są wrażliwe na koszty, są kierowane do @undefined sieci i opłacane $XPL. Natomiast te, które wymagają natychmiastowej reakcji, wciąż korzystają z pierwotnego szybkiego kanału.
Efekt był natychmiastowy. Po pierwsze, na miesięcznym rachunku pojawił się długo oczekiwany spadek, prawie o jedną trzecią. To prawdziwe oszczędności w gotówce na runway! Po drugie, zyskaliśmy poczucie psychologicznego bezpieczeństwa o „nielimitowanej elastyczności”. Teraz nie boimy się nagłych hitów, ponieważ wiem, że za mną stoi teoretycznie nielimitowany ocean mocy obliczeniowej. Płatność $XPL jest błyskawiczna, granularna, kupujesz tyle, ile potrzebujesz, nie ma minimalnej kwoty zakupu, nie ma umów wiążących.
Co ciekawe, zaczęliśmy myśleć, jak głębiej włączyć się w ten ekosystem. Czy moglibyśmy zamknąć nasze wytrenowane modele o określonym stylu w usługi mocy obliczeniowej i umieścić je w @undefined sieci, aby inni deweloperzy mogli korzystać z $XPL do ich wywoływania, zarabiając w ten sposób jakieś dochody, które wrócą do nas? To otworzyło nową wyobraźnię na temat modeli biznesowych.
Dla mnie @undefined to nie tylko narzędzie, ale bardziej „ubezpieczenie mocy obliczeniowej” i „katalizator innowacji”. Wyleczyło moją nerwowość związaną z mocą obliczeniową, pozwalając mi skupić się na produkcie i użytkownikach, a nie na codziennych zmaganiach z systemem rozliczeniowym dostawców chmurowych. Jeśli także martwisz się o nieprzewidywalne potrzeby mocy obliczeniowej i koszty, nie wahaj się, spróbuj. Może nie rozwiąże wszystkich problemów, ale z pewnością da ci dodatkowy, kluczowy wybór.
