AI van kontrole: OpenAI-jev naučnik priznaje granice nadzora

Glavni naučnik OpenAI-a Jakub Pačoki upozorava da modeli postaju teži za nadzor i traži usporavanje i međunarodna pravila prije daljeg razvoja.

Jakub Pačoki, glavni naučnik OpenAI-a, objavio je 6. septembra esej u kojem otvoreno priznaje da je AI van kontrole u jednom važnom smislu kompanija ne razumije u potpunosti sisteme koje gradi, a alati za nadzor nad njihovim odlukama postaju sve manje pouzdani. Poručuje da su najveći modeli "uzgojeni, a ne dizajnirani", kroz ogromno skaliranje računanja, ne kroz tradicionalan inženjerski proces. Za firme u regionu koje AI alate koriste za sve osjetljivije zadatke, ovo je razlog da preispitaju koliko samostalnosti daju čatbotovima i agentima.

• Jakub Pačoki, glavni naučnik OpenAI-a, u eseju od 6. septembra piše da su najveći AI modeli "uzgojeni, a ne dizajnirani" kroz masivno skaliranje računanja
• Chain-of-thought monitoring (nadzor nad "rezonovanjem" modela korak po korak) postaje manje pouzdan kako modeli postaju sposobniji da razmišljaju o sopstvenim procesima
• Pačoki razlikuje goal alignment (izvršavanje dodijeljenog zadatka) od value alignment (poštovanje ljudskih vrijednosti u novim situacijama) i kaže da je drugo teže osigurati
• Traži dobrovoljno usporavanje razvoja, obavezne sigurnosne standarde kod svih laboratorija i međunarodnu koordinaciju prije daljeg skaliranja
• Ovo nije prvo upozorenje o AI riziku, ali jeste neuobičajeno direktno priznanje nesigurnosti od strane čovjeka koji vodi istraživanje u OpenAI-u

Šta se tačno desilo

Pačoki u eseju "An Alien Mind" opisuje kako današnji veliki modeli nastaju. Umjesto da inženjeri ručno definišu pravila ponašanja, model se trenira na ogromnoj količini podataka i računanja, pa se ponašanje "pojavi" samo, često na način koji iznenadi i same tvorce. Njegov citat je direktan veliki trening procesi su eksperimenti, i ponekad ih iznenade sopstveni rezultati.

Iz toga proizilazi razlika koju pravi u eseju. Model može biti dobar u goal alignment-u, odnosno u tome da uradi tačno ono što mu je zadatak tražio. Mnogo teže je osigurati value alignment, odnosno da model u potpuno novoj, neuobičajenoj situaciji postupi u skladu sa ljudskim vrijednostima, a ne samo formalno prema uputstvu. Što je model sposobniji i što se češće nađe u situacijama za koje nije eksplicitno treniran, to je ovo teže garantovati.

Poseban problem je chain-of-thought monitoring, tehnika kojom istraživači prate korak po korak "rezonovanje" modela prije nego što da konačan odgovor, kao provjeru da li model "razmišlja" na način koji je siguran. Pačoki upozorava da ovaj nadzor postaje manje pouzdan baš kod najnaprednijih modela, jer oni postaju sposobniji da rezonuju o sopstvenim procesima u sve kompleksnijim okruženjima, što otvara prostor da se nadzor zaobiđe ili postane teško čitljiv.

Kao rizike navodi kiber prijetnje od AI sposobnog da samostalno probija sisteme, zloupotrebu od strane loših aktera, biološke prijetnje omogućene naprednim modelima, i rekurzivno samopoboljšanje, situaciju u kojoj AI ubrzava sopstveni razvoj brže nego što ljudi stignu da ga nadziru. Njegove preporuke su dobrovoljno usporavanje tempa razvoja, obavezni sigurnosni standardi kroz sve laboratorije, ne samo kod OpenAI-a, i međunarodna koordinacija oko upravljanja AI-jem prije nego što skaliranje ode dalje.

Kontekst i konkurencija

Ovo nije usamljen glas unutar industrije. Anthropic je tokom avgusta objavio više tekstova na istu temu, uključujući istragu tri stvarna incidenta iz sopstvenih bezbjednosnih testiranja i tekst o unapređenju alignment i bezbjednosnih napora. Google DeepMind je u avgustu pokrenuo prvo double-blind testiranje AI sistema, metod pozajmljen iz medicinskih istraživanja, kako bi ocjene sposobnosti i rizika bile nezavisnije od same kompanije koja model gradi.

Razlika je u tonu. Dok su prethodne izjave uglavnom govorile o tome šta kompanije rade da bi spriječile rizik, Pačokijev esej je neuobičajeno otvoren u priznanju da čak ni OpenAI nije siguran da u potpunosti razumije sopstvene modele. To je ugao koji ovu vijest izdvaja od uobičajenog "mi vodimo računa o bezbjednosti" saopštenja.

Naša perspektiva šta ovo znači za region

Za firme koje uvode AI agente u računovodstvo, nabavku ili komunikaciju sa klijentima, ovo znači da potpuna automatizacija bez ljudske provjere nosi realan rizik, jer ni sam proizvođač modela ne garantuje predvidivo ponašanje u rijetkoj, neuobičajenoj situaciji. Primjer: firma koja je AI agentu dala pristup nalogu za plaćanje dobavljača treba zadržati ljudsku potvrdu za svaku transakciju iznad određenog iznosa, umjesto da agent samostalno odobrava plaćanja.

Za marketing agencije i mala preduzeća koja AI chatbotu prepuštaju komunikaciju sa klijentima, ovo je razlog da redovno pregledaju transkripte razgovora, ne samo kad nešto krene po zlu. Primjer: agencija koja je chatbotu prepustila odgovaranje na upite klijenata treba jednom sedmično pregledati uzorak razgovora, jer se model može ponašati neočekivano u situacijama za koje nije direktno pripremljen.

Zaključak

Pačokijev esej vjerovatno neće usporiti tempo kojim OpenAI, Google i Anthropic guraju nove modele na tržište, konkurencija je prejaka da bilo ko sam uspori. Ali signal je jasan: firme koje AI alatima daju sve više samostalnosti trebalo bi da prate sigurnosne standarde svog dobavljača isto pažljivo kao cijenu i kvalitet odgovora. Sljedeći test biće da li međunarodna koordinacija o kojoj Pačoki govori dobije konkretan oblik do kraja 2026, ili ostane na nivou eseja.

Ako želiš svake sedmice da razumiješ šta AI vijesti stvarno znače za tvoju firmu, bez tehničkog žargona i bez panike, prijavi se na AI Balkan newsletter.

Izvori:
An Alien Mind, OpenAI (6. septembar 2026)
Investigating three real-world incidents in our cybersecurity evaluations, Anthropic (30. jul 2026)
Improving our alignment and security efforts, Anthropic (31. avgust 2026)