Novo istraživanje pokazuje da veliki jezički modeli imaju interno radno područje koje koriste za složenije razmišljanje, a istraživači sada mogu djelimično da ga posmatraju.

Veliki jezički modeli već godinama djeluju kao "crne kutije" znamo šta odgovaraju, ali ne i kako dolaze do odgovora. Novo istraživanje kompanije Anthropic tvrdi da je napravilo veliki korak ka razumijevanju tog procesa. Njihovi istraživači identifikovali su ono što nazivaju J-space, interno radno područje (global workspace) u kojem Claude privremeno "drži" informacije potrebne za složenije zaključivanje.

• Anthropic tvrdi da je pronašao interno "radno područje" unutar Claude modela.
• J-space nije isto što i chain-of-thought niti tekst koji model generiše tokom razmišljanja.
• Bez tog dijela mreže model i dalje piše tečno, ali gubi sposobnost složenog zaključivanja.
• Istraživanje bi moglo pomoći razvoju sigurnijih i transparentnijih AI sistema.

Šta se tačno desilo

Anthropic je objavio rad pod nazivom "A global workspace in language models", u kojem opisuje novu metodu za proučavanje unutrašnjeg rada velikih jezičkih modela. Umjesto da posmatra samo izlaz koji model generiše, istraživači su analizirali interne neuronske aktivacije pomoću tehnike koju nazivaju Jacobian Lens.

Rezultat je identifikacija malog skupa internih reprezentacija koje nazivaju J-space. Prema istraživanju, upravo se u tom prostoru nalaze koncepti o kojima model "razmišlja", čak i kada ih nikada ne napiše korisniku.

Eksperimenti pokazuju nekoliko zanimljivih osobina:

• Claude može da "prijavi" sadržaj tog prostora kada ga korisnik pita o čemu razmišlja.
• Tokom matematičkih ili logičkih zadataka u J-space se pojavljuju međukoraci prije nego što model napiše odgovor.
• Ako istraživači promijene određene reprezentacije unutar J-space-a, mijenja se i konačni odgovor modela.
• Kada se J-space ukloni iz procesa zaključivanja, Claude i dalje piše gramatički ispravno i odgovara na jednostavna pitanja, ali gotovo potpuno gubi sposobnost razmišljanja u više koraka.

Anthropic naglašava da ovo nije dokaz da modeli imaju svijest. Istraživanje govori isključivo o funkcionalnoj organizaciji informacija unutar neuronske mreže, a ne o ljudskoj svijesti ili iskustvu.

Kontekst i konkurencija

Posljednjih godinu dana vodeće AI kompanije sve više ulažu u oblast interpretabilnosti istraživanja koja pokušavaju objasniti zašto modeli donose određene odluke.

Anthropic je već poznat po radu na razumijevanju unutrašnjih mehanizama Claude modela, dok istraživači iz Google DeepMind, OpenAI i akademske zajednice razvijaju različite metode za otkrivanje načina na koji neuronske mreže predstavljaju znanje i donose zaključke.

Ono što ovo istraživanje izdvaja jeste tvrdnja da postoji zajednički "radni prostor" koji model koristi za složenije razmišljanje i koji se može djelimično posmatrati i čak eksperimentalno mijenjati. Ako se rezultati potvrde i na drugim modelima, to bi moglo značajno unaprijediti razvoj sigurnijih AI sistema.

Naša perspektiva

Za firme koje planiraju ozbiljnije koristiti AI, ovo znači da industrija ide prema modelima čije će odluke biti lakše objasniti i provjeriti.

Primjer: banka koja koristi AI za analizu dokumentacije danas uglavnom vidi samo konačan odgovor modela. U budućnosti bi mogla imati uvid i u dio procesa kojim je model došao do zaključka, što bi pojednostavilo reviziju i usklađenost sa regulativom.

Za marketing agencije i razvojne timove ovo otvara mogućnost boljih alata za otkrivanje halucinacija i skrivenih grešaka prije nego što AI odgovor stigne do korisnika.

Posebno je zanimljiv sigurnosni aspekt. Anthropic pokazuje da je moguće uočiti kada model interno prepoznaje da je neka informacija lažna ili da pokušava manipulisati odgovorom, čak i prije nego što bilo šta napiše korisniku. To dugoročno može dovesti do pouzdanijih AI sistema.

Zaključak

Iako ovo istraživanje ne znači da smo "zavirili u misli" vještačke inteligencije, predstavlja jedan od najozbiljnijih pokušaja da se objasni kako veliki jezički modeli donose složenije odluke.

Ako se pristup pokaže primjenjivim i na druge modele, narednih nekoliko godina mogli bismo dobiti AI sisteme koji nisu samo sposobniji, već i znatno transparentniji.

Prijavite se na AI Balkan newsletter i prvi ćete dobiti vodič čim bude objavljen, zajedno sa sedmičnim analizama najvažnijih AI vijesti bez senzacionalizma.