Sattar Chaqer

Ciągle zauważam, że kiedy ludzie wyobrażają sobie robotykę w skali, wyobrażają sobie jeden system robiący wszystko, jeden łańcuch, jeden zestaw reguł, jedną płaszczyznę kontroli, a to nie jest sposób, w jaki zazwyczaj rosną duże systemy.

W prawdziwym świecie rzeczy się rozdzielają, sieci ewoluują, warstwy, tożsamość, komunikacja, koordynacja, zarządzanie, rozliczenie, internet i finanse pokazują ten sam wzór, oddzielne kwestie, oddzielne warstwy, ponieważ złożoność to wymusza.

Na poziomie gruntu nadal widzisz praktyczne problemy robotów magazynowych, które mogą podnosić pudełka, dron może zbierać dane. Ale te maszyny rzadko rozmawiają ze sobą poza granicami firmy, różne stosy, różne logi, różne rozliczenia, ta fragmentacja zamienia koordynację w trudny problem długo przed tym, jak inteligencja staje się czynnikiem ograniczającym.

Ciągle zauważam, że większość rozmów na temat niezawodności AI wraca do jednej idei: poprawić model, większe sieci, więcej danych, świeższe dostrajanie, ale istnieje inny ryzyko, które zyskuje mniej uwagi: zależność od jednego modelu jako de facto źródła prawdy.

Ta pojedyncza punktowa awaria epistemiczna wydaje się prosta na papierze i niebezpieczna w praktyce; jeśli model jest stronniczy, źle skalibrowany lub po prostu pechowy na wycinku danych, cały stos dziedziczy ten błąd.

To, co @Mira - Trust Layer of AI  wydaje się robić, to zmiana pytania: zamiast prosić jeden model o bycie ostatecznym arbitrem, Mira przekształca wyniki w weryfikowalne twierdzenia i przekazuje je do wielu niezależnych weryfikatorów. Zgoda wśród tych weryfikatorów, a nie wynik pewności jednego modelu, staje się sygnałem, któremu ufamy.

Ciągle zauważam, że gdy ludzie wyobrażają sobie sieć robotyczną, często przedstawiają jeden dużym system zarządzający wszystkim.

Jeden protokół, jeden łańcuch, jedna część infrastruktury koordynująca maszyny.

Ale złożone technologie rzadko rozwijają się w ten sposób.

Większość systemów, na których polegamy dzisiaj, rozwijała się w warstwach. Internet ma warstwy routingu, warstwy komunikacyjne, warstwy aplikacji, systemy finansowe oddzielające przesyłanie wiadomości od rozliczeń, gdy sieć staje się wystarczająco duża, różne funkcje naturalnie się rozdzielają.

Robotyka wydaje się teraz osiągać ten etap.

Kiedyś myślałem, że sposób na uczynienie AI niezawodnym polega po prostu na poprawie modelu, dłuższym treningu, dodawaniu większej ilości danych, poprawie architektury; jeśli model stanie się wystarczająco inteligentny, błędy w końcu znikną.

Ale prawdziwe systemy rzadko zachowują się w ten sposób.

W większości złożonych systemów niezawodność nie pochodzi z doskonałości, lecz z struktury; rynki finansowe polegają na zachętach, sieci rozproszone polegają na niezależnych walidatorach, a nawet nauka zależy od innych ludzi weryfikujących pracę.

Ten wzór zaczyna się pojawiać w tym, jak @Mira - Trust Layer of AI ramki przedstawiają problem niezawodności.

Ciągle dostrzegam coś dziwnego, gdy ludzie rozmawiają o robotyce.

Większość rozmowy dotyczy inteligencji, lepszych modeli, lepszego sprzętu, szybszego podejmowania decyzji.

Ale jest jeszcze jedno ograniczenie, które cicho siedzi w tle.

Roboty mogą pracować, ale zazwyczaj nie mogą otrzymywać wynagrodzenia.

Pomyśl o tym, jak działa automatyzacja dzisiaj. Robot może przenosić paczki po podłodze magazynu lub skanować sprzęt w fabryce. Wykonuje zadanie, ale gdy praca jest zakończona, sama maszyna nic nie otrzymuje. Płatność trafia do firmy prowadzącej system.

Ciągle zauważam, że gdy systemy AI popełniają błędy, zwykle odpowiedzią jest poprawa samego modelu, dłuższe szkolenie, dodanie większej ilości danych, dostosowanie wyrównania. Założenie jest takie, że niezawodność ostatecznie się pojawi, jeśli model stanie się wystarczająco zdolny.

Ale niezawodność nie zawsze tkwi w modelu.

Systemy AI są z definicji probabilistyczne, nawet silne modele mogą generować pewne odpowiedzi, które są niekompletne, stronnicze lub po prostu błędne; w wielu przypadkach prawdziwym problemem nie jest inteligencja, ale to, jak system decyduje, czy odpowiedź powinna być ufna.