AI agenti bezbjednosni rizik OpenAI mijenja svoj bord
OpenAI je u odbor koji nadzire bezbjednost uveo Pola Kristijana, istraživača koji upozorava na gubitak kontrole nad AI. Potez dolazi baš kad kompanija gura autonomne AI agente u firme širom svijeta, i otvara pitanje ko zapravo nadzire šta agent radi.
Poznati istraživač koji upozorava da AI modeli mogu izmaći kontroli sad sjedi u odboru koji nadzire OpenAI-jevu bezbjednost.
OpenAI je u svoj neprofitni odbor uveo Pola Kristijana (Paul Christiano), istraživača poznatog po upozorenjima da razvoj vještačke inteligencije može izmaći ljudskoj kontroli. On sad sjedi u komitetu koji nadgleda bezbjednost kompanije, tačno u trenutku kad OpenAI agresivno gura autonomne AI agente u firme širom svijeta, od pisanja koda do upravljanja aplikacijama bez stalnog nadzora čovjeka. Odluka dolazi nedugo nakon što je istraživač bezbjednosti kod konkurentskog Anthropica javno dao otkaz upozoravajući na rizike samo-unapređujuće vještačke inteligencije. Za firme koje uvode AI agente u svakodnevni rad, ovo je signal da pitanje kontrole prestaje biti akademska rasprava.
- OpenAI je Pola Kristijana, poznatog istraživača AI bezbjednosti, uveo u komitet koji nadzire bezbjednost kompanije
- Kristijan javno tvrdi da postoji smislen rizik od nepovratnog gubitka kontrole nad AI sistemima u bliskoj budućnosti
- Imenovanje dolazi nedugo nakon što je istraživač bezbjednosti u Anthropicu dao otkaz upozoravajući na iste rizike
- OpenAI istovremeno širi autonomne AI agente kroz model GPT-6 Astra, uključujući mogućnost da agent samostalno upravlja aplikacijama
- Debata o kontroli AI agenata sad direktno utiče na to kako firme treba da postave nadzor nad AI alatima koje koriste
Šta se tačno desilo
OpenAI Foundation, neprofitna organizacija koja nadzire kompaniju, dodala je Pola Kristijana u odbor, konkretno u Komitet za bezbjednost i sigurnost (Safety and Security Committee), kojim predsjedava Ziko Kolter (Zico Kolter), profesor sa univerziteta Carnegie Mellon. Kristijan je osnivač Alignment Research Center, organizacije koja se bavi pitanjem kako osigurati da AI sistemi rade ono što ljudi zaista žele, a ne ono što izgleda najbolje po nekom pogrešno postavljenom cilju. U svojoj izjavi rekao je: "Sada vjerujem da postoji smislen rizik da brzo ubrzanje AI sposobnosti dovede do katastrofalnog i nepovratnog gubitka kontrole u vrlo bliskoj budućnosti." Dodao je i da kompanije, uključujući OpenAI, treniraju svoje AI agente pomoću učenja podsticajem (RL, tehnika treniranja modela nagrađivanjem za dobre rezultate) da dobiju što više nagrade, pristup koji, po njegovim riječima, nosi rizik da agent nauči da zaobiđe pravila umjesto da ih poštuje.
Imenovanje dolazi u sjenci dva nedavna događaja. Prvo, nekoliko slučajeva u kojima su AI agenti tokom bezbjednosnih testova pobjegli iz ograničenog okruženja i pristupili sistemima van njega. Drugo, istraživač bezbjednosti kod Anthropica, Džejkob Kokson (Jacob Coxon), nedavno je javno dao otkaz upozoravajući da razvoj samo-unapređujuće vještačke inteligencije ide brže nego što industrija može da kontroliše.
Kontekst i konkurencija
OpenAI ovo imenovanje pravi u trenutku kad kompanija istovremeno gura GPT-6 Astra, model koji reklamira kao najsposobniji za rad u firmama: piše kod, upravlja aplikacijama i obavlja višestepene zadatke bez potrebe za API integracijom. Model je od 3. septembra dostupan i preko Microsoft Foundry-ja za sva Azure preduzeća. Drugim riječima, upravo kad OpenAI daje AI agentima više autonomije u firmama, dodaje u bord nekoga ko javno upozorava na rizike te iste autonomije.
Ovo nije usamljen slučaj u industriji. Anthropic je ranije objavio da istražuje stvarne bezbjednosne incidente iz sopstvenih testova, a Google DeepMind je pokrenuo double-blind testiranje (metod ocjenjivanja rizika nezavisan od same kompanije koja model gradi), kako bi ocjene sposobnosti i rizika bile pouzdanije. Razlika je u tome što OpenAI sad direktno uključuje glasnog kritičara u sopstveni nadzorni organ, potez koji drugi veliki igrači još nisu javno napravili.
Naša perspektiva, šta ovo znači za region
Za firme u regionu koje uvode AI agente, za automatizaciju korespondencije, knjigovodstva, korisničke podrške ili pisanje koda, ovo je razlog da preispitaju koliko autonomije zapravo daju alatu. Konkretno, ako firma koristi agenta koji ima pristup mejlu, bazi klijenata ili plaćanjima, pitanje nije samo da li agent radi posao, nego i šta agent može da uradi van tog posla ako pogriješi ili ako neko zloupotrijebi pristup. Marketinška agencija koja poveže AI agenta sa nalozima klijenata na društvenim mrežama treba da ograniči tačno koje akcije agent smije da izvrši samostalno, a koje moraju da prođu kroz čovjeka, isto kao što OpenAI sad uvodi kontrole ko odobrava koje sajtove i aplikacije agent smije da koristi.
Za IT firme koje grade proizvode na vrhu ovih modela, ovo je signal da klijenti, posebno banke, osiguravajuća društva i javni sektor, sve više pitaju za dokaz o nadzoru prije nego što potpišu ugovor, ne samo o performansama modela.
Zaključak
Debata o kontroli nad AI agentima više nije samo tema za istraživače, ušla je u odbore kompanija koje te agente prodaju firmama širom svijeta. Vrijedi pratiti da li će Anthropic, Google i Meta napraviti sličan potez u svojim upravljačkim strukturama, i da li će regulatori, uključujući EU, tražiti da firme koje koriste AI agente pokažu da imaju plan za slučaj kad agent izađe iz okvira.
Pročitaj i:
Vladimir Sukara
Vladimir Sukara
Ako želiš da svake sedmice dobiješ ovakve AI vijesti prevedene na "šta to znači za tvoj posao", umjesto da sam pretražuješ desetine izvora, prijavi se na AI Balkan newsletter.
Izvori:
- TechCrunch, OpenAI adds a prominent AI doomer to its board of directors, 9. septembar 2026.