Zwykle mówię ludziom to twarzą w twarz: nie dodaliśmy @Fabric Foundation , bo brzmiało to innowacyjnie, dodaliśmy go, ponieważ jeden z naszych modeli cicho wysłał trzy fałszywe flagi ryzyka w ciągu jednego popołudnia. Nic dramatycznego. Wystarczająco dużo, bym się czuł nieswojo.

Nasz układ jest dość standardowy: dwa niezależne modele oceniające roszczenia transakcyjne, jeden oparty na gradientach, drugi na transformatorach. Większość czasu zgadzają się. Ale „większość” okazała się wynosić 94,8% w ciągu 10-dniowej próby obejmującej 18 400 decyzji. Ten 5%-owy wskaźnik rozbieżności był niewielki na papierze, ale w praktyce sprawiał sporo zamieszania. Kolejki do ręcznej kontroli wzrosły o 17%.

Wstawiliśmy $ROBO jako dezentralizowany warstwę weryfikacji między wyjściem modeli a wykonaniem. Nie po. Pośród. Każde roszczenie jest teraz haszowane i przekazywane do węzłów weryfikacyjnych koordynowanych za pośrednictwem @Fabric Foundation . Konieczny jest konsensus przed zmianą stanu końcowego. Żaden pojedynczy wynik modelu już nie trafia bezpośrednio do produkcji.

Opóźnienia wzrosły. Średni czas decyzji przesunął się z 640 ms do 860 ms. To jest wyczuwalne. Koszty infrastruktury wzrosły o około 8% ze względu na wywołania weryfikacyjne. Jednak rozwiązywanie rozbieżności zostało poprawione. Rozbieżne wyniki modeli spadły poniżej 1,2% po tym, jak wagi konsensusu stabilizowały się w ciągu pierwszego tygodnia.

To, co mnie zaskoczyło, nie była dokładność. Była możliweść audytowania. Weryfikacja na poziomie roszczeń oznacza, że mogę prześledzić, dlaczego decyzja przeszła przez konsensus. Zamiast czarnego skrzynki z wynikiem mamy wiarygodną ścieżkę.

Mimo wszystko nie jestem ślepo przekonany. Przypadki graniczne z niskimi ilościami danych czasami generują płytki konsensus bez głębi. Decentralizacja nie eliminuje niepewności; rozkłada ją.

Praca z $ROBO zmieniła moje myślenie. Już nie myślę w kategoriach „czy AI ma rację?”. Myślę w warstwach: generacja, weryfikacja, konsensus, wykonanie. Zaufanie staje się mierzalne, a nie domniemane.

Ta zmiana, szczerze mówiąc, ma większą wartość niż same metryki.

@Fabric Foundation #ROBO $ROBO