Wciąż wracam do jednej niewygodnej myśli: kiedy Mira mówi „zbiorowa mądrość”, jak możemy wiedzieć, że tłum znajduje prawdę, a nie tylko powtarza ten sam wzór?
@Mira - Warstwa Zaufania AI $MIRA #Mira
Moje zdanie jest takie, że podstawowy pomysł Miry jest kierunkowo silny, ale krytycy nie powinni mylić konsensusu z poprawnością. Biała księga argumentuje, że żaden pojedynczy model nie może jednocześnie zminimalizować halucynacji i stronniczości, dlatego sieć dzieli treść na weryfikowalne roszczenia i przesyła je do wielu modeli weryfikujących w celu rozproszonego konsensusu. To może zmniejszyć losowe błędy. Nie eliminuje automatycznie wspólnych ślepych punktów.
Kilka rzeczy ma tutaj znaczenie: Mira wyraźnie mówi, że niezawodność pochodzi z łączenia modeli i „różnorodnych perspektyw”, a nie z jednego modelu. Przyznaje również, że wybór modelu sam w sobie może wprowadzać błąd systematyczny, szczególnie jeśli różnorodność jest węższa, niż się wydaje. System standaryzuje roszczenia, aby każdy weryfikator widział ten sam problem, a następnie rejestruje, które modele osiągnęły konsensus w certyfikacie. To poprawia możliwość audytu bardziej niż gwarantuje prawdę.
Pomyśl o wezwaniu rynkowym, na które zgadza się kilka modeli. Na pierwszy rzut oka wygląda to uspokajająco. Ale może nie zgadzają się, ponieważ to wezwanie jest prawdziwe. Może zgadzają się, ponieważ zostały przeszkolone na tych samych wspólnych historiach rynkowych. Konsensus pojawia się szybko, jednak odpowiedź nadal pomija nagłą zmianę reżimu lub jakiś niszowy kontekst, którego dane nie uchwyciły. Sieć może weryfikować zgodność, ale sama zgodność może nadal być błędna. Jeśli zweryfikowana AI stanie się infrastrukturą do handlu, badań lub autonomicznych agentów, skorelowany błąd może być bardziej niebezpieczny niż oczywista halucynacja. Mira może zmniejszyć hałaśliwe jednorazowe błędy, ale może również sformalizować stronniczość modelu większościowego na dużą skalę.
To jest to, co chcę zobaczyć udowodnione następnie: kiedy modele się zgadzają, jak Mira testuje, czy ta zgoda odzwierciedla prawdę, a nie wspólne pozostałości treningowe? @Mira $MIRA #Mira
