Dejstvo je, da nihče ne razume, kako programi umetne inteligence delujejo. Umetna inteligenca in še posebej LLM imajo strukturo input-black box-output. Črna skrinjica se imenuje tako, ker tudi tisti, ki so jo sprogramirali ne poznajo njenega delovanja v celoti. Če iz vnesenih podatkov dobimo rezultat, ki smo si ga želeli, je konec koncev vseeno, mar ne? Marsikdo se ne bi strinjal. Brez da strašimo s scenariji iz Matrice ali Terminatorja, je poznavanje delovanja notranjosti naše lastne tehnologije nujno. Že zaradi samega napredka umetne inteligence in popravljanja morebitnih napak.
Umetna inteligenca se uči hitreje kot smo pričakovali
Računalniški strokovnjaki so v LLM odkrili zanimiv fenomen. Ti programi se abnormalno hitro in brez pomoči naučijo opravljati naloge, za katere sploh niso bili sprogramirani oz. trenirani.
Veliki jezikovni modeli delujejo tako, da preko tisoče primerov program ugotovi vzorce in je sposoben dokaj natančno predvideti kaj sledi čemu. Tako lahko tvori popolne stavke, se odziva na naše stavke, išče ključne besede in nam, kot Chat-GPT poda odgovor, kot bi ga našli na spletu, le da veliko hitreje.
Skrivnost je v učenju iz konteksta
Raziskovalci z MIT, Google Research in Stanford University so se zakopali v problem nerazumljivo hitrega učenja umetne inteligence. Ugotovili so, da LLM vsebujejo manjše enote, ki se naučijo opravljati nove naloge. Preprosto povedano, program znotraj sebe ustvari manjše programe in samega sebe nauči rešiti zagate za katere ni bil sprogramiran. Običajno, bi za to morali računalničarji programu dovesti kup novih podatkov, na katerih bi se učil in mu spremeniti parametre. V tem primeru pa program vse to opravi sam. Fenomen so poimenovali učenje iz konteksta (in-context learning).
Vodja raziskave Ekin Akyürek je povedal, da je do zdaj večina znanstvenikov verjela, da je skrivnost v načinu učenja velikih jezikovnih modelov. Ker so trenirani na milijardah primerov, bi bilo popolnoma smiselno trditi, da je »nova« naloga nekaj, s čimer se je program že srečal. Zato je Akyürekova ekipa naredila preizkus: programu so dovedli popolnoma nove, umetne podatke, ki jih ne bi mogel videti nikoli prej. Vseeno mu je uspelo z enako hitrostjo in natančnostjo pridelati pravilne odgovore.
Nadaljnje raziskovanje procesa, ki se dogaja v črni skrinjici bo v prihodnosti omogočilo razvijanje še naprednejše umetne inteligence. Ta bo tudi bolj ekonomična, saj bo z učenjem iz konteksta majhne količine podatkov spremenila v veliko količino odgovorov.
Novinar
