@Mira - Trust Layer of AI , Am făcut o actualizare a modelului într-o joi seara și m-am trezit cu trei mesaje furioase în chatul nostru intern. Același prompt. Aceeași versiune a modelului. Răspunsuri diferite. Nu diferite din punct de vedere stilistic. Diferite din punct de vedere factologic.
Un răspuns a citat o lucrare din 2021. Altul a susținut că setul de date s-a încheiat în 2019. Al treilea a halucinat o sursă care nu exista. Nimic catastrofal. Dar suficient pentru a mă face să mă întreb dacă construim un produs pe nisip.
A fost prima dată când am încercat să conectez conductul nostru de inferență la Rețeaua Mira.
Nu am adoptat întreaga stivă. Doar stratul de verificare. Am vrut un singur lucru: determinism în jurul afirmațiilor. Nu adevăr perfect. Doar consistență pe care ai putea să o interoghezi.
Integrarea a durat două după-amiezi. Partea interesantă nu a fost conectarea API-ului. A fost observarea saltului de latență de la 1.8 secunde la 3.4 secunde per solicitare. La început am crezut că am stricat ceva. Apoi mi-am dat seama ce se întâmplă. Nu generam doar un răspuns mai devreme. Generam o afirmație, o direcționam prin verificatori distribuiți și primeam un scor de încredere agregat cu referințe de proveniență.
3.4 secunde păreau lente. Până am comparat jurnalele.
Înainte de Mira, aproximativ 11 procente din răspunsurile din setul nostru de testare conțineau cel puțin o afirmație factuală neverificată atunci când erau verificate manual. După adăugarea stratului de verificare, acest procent a scăzut la 2.6 procente în cadrul a 1.200 de solicitări. Nu zero. Dar diferența a apărut aproape imediat în tichetele de suport. Mai puține fire de discuție „de unde a venit asta?”. Mai multe conversații despre interpretare în loc de corectare.
Această schimbare și-a schimbat fluxul de lucru mai mult decât mă așteptam.
Anterior, depanarea însemna ajustarea solicitărilor. Adaugă constrângeri. Adaugă citate. Încearcă din nou. Acum depanarea însemna inspectarea dezacordurilor verificatorilor. Mira a expus unde consensul s-a fracturat. Dacă trei noduri au fost de acord cu o afirmație și unul a fost în dezacord, puteam urmări de ce. Uneori nodul minoritar avea de fapt dreptate. Asta m-a făcut să mă gândesc la adevăr mai puțin ca la un binar și mai mult ca la un acord ponderat între evaluatori independenți.
Sună abstract. În practică, a însemnat că am încetat să mai discut cu modelul și am început să interoghez graficul de verificare.
Există totuși fricțiune. Costul a crescut cu aproximativ 18 procente per o mie de interogări odată ce am luat în considerare recompensele verificatorilor. Nu este catastrofal, dar este vizibil la scară. Și ocazional, sistemul semnalează o încredere scăzută în lucruri care sunt evident corecte pentru un om. Matematică de bază. Date cunoscute pe scară largă. Când mecanismele de consens sunt aplicate adevărurilor simple, simți suprasarcina.
Și descentralizarea nu este magie. Verificatorii sunt încă actori economici. Stimulentii contează. Într-un test de stres, am simulat coordonarea adversarială între un subset de noduri. Rețeaua nu a colapsat, dar scorurile de încredere s-au distorsionat înainte de reechilibrare. Asta mi-a spus ceva inconfortabil. Adevărul programabil depinde în continuare de alinierea economică. Doar că face dependențele vizibile.
Ce s-a schimbat pentru mine nu a fost că Mira „a rezolvat” halucinațiile. Nu a făcut. Ceea ce s-a schimbat a fost responsabilitatea. Fiecare afirmație poartă acum o urmă. O probabilitate. O înregistrare a celor care au fost de acord.
Când lansez actualizări acum, verific deltele de încredere la fel cum obișnuiam să verific lungimea răspunsului. Îmi pasă mai puțin de elocvență și mai mult de stabilitatea epistemică. Este o metrică ciudată pentru care să optimizezi. Mai greu de comercializat. Mai ușor de dormit.
Unele zile îmi lipsește viteza vechii conducte. Răspunsurile clare de 1.8 secunde. Dar nu îmi lipsește incertitudinea de a nu ști ce parte a răspunsului a fost inventată în tăcere.
Adevărul nu este perfect programabil. Nu încă. Dar forțarea lui printr-o rețea care trebuie să fie de acord cu voce tare schimbă modul în care proiectezi sisteme. Începi să construiești pentru contestabilitate în loc de persuasiune.
Încă nu sunt sigur unde mă duce asta. Dar știu că nu vreau să mă întorc la presupuneri tăcute.