Es pēdējā laikā par kaut ko domāju, un es nevaru beigt atgriezties pie viena jautājuma.
Vai benchmarki patiešām rāda reālo veiktspēju, vai tie tikai parāda, cik labi kaut kas uzvedas kontrolētā vidē?
Uz papīra viss izskatās tīrs. Cipari aug, grafiki izskatās stabils, un salīdzinājumi šķiet skaidri. Bet reālā pasaule nekad nav tāda. Reālie dati ir nekārtīgi, neparedzami un pilni trokšņu, ko neviens benchmarks pilnībā neaptver.
Tāpēc, kad es skatos, ko dara OpenLedger ModelFactory, pirmais, kas izceļas, nav tikai uzlabojums pats par sevi, bet arī pārliecība aiz šiem uzlabojumiem.
Sistēma rāda ātrāku apmācību salīdzinājumā ar vecākām pielāgošanas metodēm, un dažos gadījumos ātruma lēciens ir būtisks. Pat iznākuma kvalitāte uzdevumos, piemēram, teksta ģenerēšanā, šķiet stabila, kad to mēra, izmantojot standarta vērtēšanas metodes. Uz papīra tas izskatās kā skaidrs solis uz priekšu — ātrāka mācīšanās, labāki iznākumi un resursu efektīvāka izmantošana vienlaikus.
Bet es nepārtraukti jautāju sev... cik daudz no tā izdzīvo ārpus testēšanas vides?
Jo reālie datu kopumi nav strukturēti kā standarti. Tie ir nepilnīgi. Tie nes sev līdzi aizspriedumus. Tie mainās laika gaitā. Un dažreiz tie pilnībā pārkāpj pieņēmumus. Tātad reālais jautājums nav par to, vai sistēma labi darbojas novērtējumā, bet vai tā var saglabāt šo sniegumu, kad viss ap to kļūst nestabils.$OPEN
Cita daļa, kas izceļas, ir tā, kā ModelFactory apstrādā atmiņas efektivitāti, izmantojot vieglākas precizitātes formātus un optimizētas apmācību metodes. Tas samazina vajadzību pēc smagas aparatūras, kas ir svarīgi, jo tas klusi maina to, kas patiešām var piedalīties modeļu veidošanā un apmācībā.
Šeit ir vieta, kur lietas sāk justies lielākas par vienkāršu tehnisko uzlabošanu.
Kad sistēmas kļūst vieglākas un efektīvākas, piekļuve paplašinās. Tas, kas agrāk prasīja dārgas infrastruktūras, tagad var tikt darīts mazākās vidēs. Tas šķiet kā progress, bet tas arī raisa klusu bažu manā prātā — vai sarežģījumu samazināšana arī samazina redzamību par to, kas tiek zaudēts procesā?
Dažreiz efektivitāte nāk ar tirdzniecības zaudējumiem, kas parādās tikai vēlāk, nevis standartizētajos testos, bet reālajā ieviešanā, kur uzvedību kļūst grūtāk prognozēt.
Kas padara OpenLedger ModelFactory interesantu, ir tas, ka tā nav tikai par modeļu pielāgošanu. Tā šķiet veido pilnu darba plūsmu ap apmācību, datu apstrādi un novērtēšanu vienā vietā. Tā vietā, lai uzskatītu modeļa apmācību par vienu soli, tā pārvērš to nepārtrauktā procesā, kur viss ir savienots.
Un, kad es skatos uz tās saistību ar OpenLedger, virziens kļūst vēl skaidrāks. Ideja nav tikai uzlabot modeļus, bet savienot datu ieguldījumu, izsekošanu un atribūciju strukturētā sistēmā, kur vērtību var izmērīt visā procesā.
Tas izklausās loģiski teorijā.
Bet tad es atkal apstājos.
Jo, kad jūs sākat mērīt ieguldījumu un saistīt to tieši ar atlīdzībām vai sistēmas rezultātiem, sistēma kļūst ne tikai tehniska, bet arī ekonomiska. Un, kad kaut kas kļūst ekonomisks, cilvēki sāk to optimizēt veidos, kas nekad nav bijuši paredzēti.
Tur ir vieta, kur lietas kļūst interesantas un nenoteiktas vienlaikus.
No vienas puses, tas varētu nodrošināt caurskatāmību. Jūs varat redzēt, no kurienes nāk dati, kā tie tiek izmantoti un kā vērtība pārvietojas caur sistēmu. No otras puses, jebkura mērāma sistēma var tikt manipulēta. Ne uzreiz, bet lēnām, kad dalībnieki uzzina, kā ietekmēt rezultātus.
Tātad reālā spriedze vairs nav tikai par sniegumu. Tā ir par uzticību sistēmā, kas nepārtraukti mācās un pielāgojas.
Ja mēs atsākam, tas, ko ModelFactory un OpenLedger cenšas uzbūvēt, šķiet kā pārmaiņas veidā, kā AI sistēmas ir strukturētas. Ne tikai labāki modeļi, bet saistīta vide, kur apmācība, dati un vērtība plūst kopā.
Ja šī virziena turpinās, AI attīstība varētu pārstāt justies kā izolēti eksperimenti un sākt izskatīties kā nepārtraukta ekosistēma, kur viss reaģē uz visu.
Un šī doma paliek ar mani.
Jo šādā sistēmā mazas izmaiņas var ātri izplatīties. Optimizācijas var savstarpēji ietekmēt. Modeļi var netieši ietekmēt cits citu caur kopīgiem datiem un atsauksmju cikliem. Un laika gaitā sistēma var ne tikai uzlaboties — tā var sākt uzvesties veidos, kas ir grūtāk prognozējami, izmantojot tradicionālos standartus.
Tāpēc es atgriežos pie sākotnējā jautājuma vēlreiz.
Vai mēs šodien mēram reālu sniegumu, vai tikai kontrolētu uzvedību, kas izskatās stabila vienkāršotos apstākļos?
Es nedomāju, ka šobrīd ir skaidra atbilde. Ko es jūtu, ir tas, ka mēs vēl esam agrīnā posmā, lai saprastu, kā šīs sistēmas uzvedas, kad tās paplašinās ārpus tīrām vidēm.
Un varbūt tas ir vissvarīgākais punkts.
Jo standarti nav finiša līnija. Tie ir tikai pirmais kontrolpunkts.
Kas notiek pēc tam, joprojām tiek rakstīts.
Ko mēs faktiski uzskatām par “īstenu sniegumu” šādās sistēmās? Vai efektivitāte un stabilitāte var palikt saskaņā, kad viss kļūst dinamiskas un savstarpēji saistītas? Un vai mēs esam gatavi pasaulei, kur AI sistēmas ne tikai veic darbības, bet nepārtraukti ietekmē viena otru reālajā laikā?
Mans godīgais secinājums ir vienkāršs.
Mēs uzlabojam mērījumus ātrāk, nekā saprotam realitāti. Un tas lūk ir tas, kur īstā AI sistēmu stāsts atklāsies.
