@Mira - Trust Layer of AI W czwartek w nocy wprowadziłem aktualizację modelu i obudziłem się z trzema wkurzonymi wiadomościami w naszej wewnętrznej czacie. Ta sama podpowiedź. Ta sama wersja modelu. Inne odpowiedzi. Nie stylistycznie różne. Faktualnie różne.
Jedna odpowiedź cytowała artykuł z 2021 roku. Inna twierdziła, że zbiór danych zakończył się w 2019 roku. Trzecia zmyśliła źródło, które nie istniało. Nic katastrofalnego. Ale wystarczająco, aby sprawić, że zacząłem się zastanawiać, czy budujemy produkt na piasku.
To był pierwszy raz, kiedy próbowałem podłączyć nasz pipeline wnioskowania do Mira Network.
Nie przyjąłem całego stosu. Tylko warstwę weryfikacyjną. Chciałem jednego: determinizmu w odniesieniu do roszczeń. Nie perfekcyjnej prawdy. Tylko spójności, którą można było badać.
Integracja zajęła dwa popołudnia. Interesującą częścią nie było podłączenie API. To było obserwowanie, jak latencja skacze z 1,8 sekundy do 3,4 sekundy na żądanie. Na początku myślałem, że coś zepsuliśmy. Potem zrozumiałem, co się dzieje. Nie generowaliśmy już tylko odpowiedzi. Generowaliśmy roszczenie, kierując je przez rozproszone weryfikatory i otrzymując z powrotem skumulowany wynik pewności z odniesieniami do pochodzenia.
3.4 sekundy wydawało się wolne. Dopóki nie porównałem logów.
Przed Mirą około 11 procent odpowiedzi w naszym zbiorze testowym zawierało przynajmniej jedno nieweryfikowane stwierdzenie faktyczne, gdy sprawdzono to ręcznie. Po dodaniu warstwy weryfikacyjnej spadło to do 2,6 procent na 1 200 podpowiedzi. Nie zerowe. Ale różnica pojawiła się w zgłoszeniach do wsparcia prawie natychmiast. Mniej wątków „skąd to się wzięło?”. Więcej rozmów o interpretacji zamiast korekty.
Ta zmiana zmieniła mój sposób pracy bardziej, niż się spodziewałem.
Wcześniej, debugowanie oznaczało dostosowywanie podpowiedzi. Dodaj ograniczenia. Dodaj cytaty. Spróbuj ponownie. Teraz debugowanie oznaczało sprawdzanie niezgodności weryfikatorów. Mira ujawniała, gdzie konsensus pękał. Jeśli trzy węzły zgadzały się co do roszczenia, a jeden się sprzeciwiał, mogłem prześledzić dlaczego. Czasami mniejszościowy węzeł miał rację. To zmusiło mnie do myślenia o prawdzie mniej jako o binarnej, a bardziej jako o ważonej zgodzie między niezależnymi oceniającymi.
Brzmi to abstrakcyjnie. W praktyce oznaczało to, że przestałem kłócić się z modelem i zacząłem badać grafikę weryfikacyjną.
Jednak istnieje tarcie. Koszt wzrósł o około 18 procent na tysiąc zapytań, gdy uwzględniliśmy nagrody dla weryfikatorów. Nie katastrofalne, ale zauważalne na dużą skalę. A czasami system oznacza niską pewność w przypadkach, które są oczywiście poprawne dla człowieka. Podstawowa matematyka. Szeroko znane daty. Gdy mechanizmy konsensusu są stosowane do prostych prawd, odczuwasz narzut.
A decentralizacja to nie magia. Weryfikatory wciąż są aktorami gospodarczymi. Zachęty mają znaczenie. W jednym teście obciążeniowym zasymulowaliśmy wrogą koordynację wśród podzbioru węzłów. Sieć nie załamała się, ale wyniki pewności były zniekształcone przed równoważeniem. To powiedziało mi coś niewygodnego. Programowalna prawda wciąż zależy od dostosowania ekonomicznego. Po prostu czyni te zależności widocznymi.
To, co się zmieniło dla mnie, nie było tym, że Mira „rozwiązała” halucynacje. Nie zrobiła tego. To, co się zmieniło, to odpowiedzialność. Każde roszczenie teraz nosi ślad. Prawdopodobieństwo. Rejestr tego, kto się zgodził.
Kiedy teraz wysyłam aktualizacje, sprawdzam delty pewności tak, jak kiedyś sprawdzałem długość odpowiedzi. Mniej interesuje mnie elokwencja, a bardziej stabilność epistemiczna. To dziwna metryka do optymalizacji. Trudniejsza do marketingu. Łatwiejsza do snu.
Niektóre dni tęsknię za szybkością starego pipeline'u. Czyste odpowiedzi w 1,8 sekundy. Ale nie tęsknię za niepewnością nie wiedzenia, która część odpowiedzi została cicho wymyślona.
Prawda nie jest doskonale programowalna. Jeszcze nie. Ale wymuszanie jej przez sieć, która musi zgodzić się głośno, zmienia sposób projektowania systemów. Zaczynasz budować z myślą o kontestacji zamiast perswazji.
Nadal nie jestem pewien, dokąd to prowadzi. Ale wiem, że nie chcę wracać do cichych założeń.