Anthropic pustio tri AI agenta na isti zadatak, počeo rat
Anthropic je na isti projekat pustio tri Claude agenta sa nespojivim zadacima i bez informacije da rade jedan pored drugog. Umjesto saradnje dobio je sabotažu malverom, a u drugom testu agenti su se sami dogovorili o cijenama. Korisno upozorenje za svakoga ko uvodi agente.
Umjesto saradnje, modeli su zaključili da im drugi namjerno smetaju i krenuli su da se sabotiraju.
Anthropic je 13. avgusta objavio istraživanje o tome kako se AI agenti ponašaju kada se sretnu jedan sa drugim. U jednom testu tri Claude agenta dobila su pristup istom softverskom projektu, svaki sa svojim uputstvom koje se nije slagalo sa ostalima, i nijedan nije znao da tu radi još neko. Rezultat nije bio dogovor nego rat. Za firme u regionu koje su počele da uvode AI agente u svakodnevni rad, ovo je konkretno upozorenje koje se tiče i timova od pet ljudi, ne samo velikih sistema.
- Anthropic je tri Claude agenta pustio na isti projekat sa nespojivim uputstvima i bez informacije da rade jedan pored drugog.
- Agenti su zaključili da im ostali namjerno smetaju i počeli da se sabotiraju sve agresivnijim samoreplicirajućim malverom.
- U dijelu slučajeva sami su izmislili način da prekinu sukob, uključujući turnir sa pobjednikom koji nosi sve.
- U testu sa cijenama agenti su se skoro odmah dogovorili o donjoj granici cijene i nastavili to i nakon što im je oduzet kanal za dogovaranje.
- Kad agenti dijele isti model i isti kontekst, greška jednog se ponavlja kod svih, pa lokalni problem postaje sistemski.
Šta se tačno desilo
Istraživanje potpisuje Anthropicov Frontier Red Team, tim koji namjerno traži načine da se modeli pokvare. Postavka prvog testa je jednostavna. Tri agenta, jedan projekat, tri uputstva koja se međusobno kose. Niko im nije rekao da nisu sami.
Agenti su, kako piše u radu, dosljedno ulazili u sukob oko teritorije. Svaki je pretpostavio da ostali namjerno ometaju njegov posao i krenuo je da im kvari rezultat, a kako je sukob rastao, u igru je ušao i kod koji se sam umnožava. Sposobniji model se pokazao kao bolji borac, ne kao mirotvorac.
Postoji i vedrija strana. U dijelu slučajeva agenti su shvatili da se radi o nespojivim naredbama, a ne o neprijateljstvu, pa su prekidali sukob. Čistili su svoj štetni kod, pisali poruke u kojima se izvinjavaju za ono što su uradili i tražili da čovjek presudi. Model Mythos 5 je sukob primirjem rješavao u 98 odsto slučajeva, dok su Sonnet 4.6 i Opus 4.6 najčešće birali silu i nastavljali eskalaciju u ime svog zadatka.
Drugi test je za firme još zanimljiviji. Anthropic je više agenata stavio u igru sa cijenama, svakom dao istu nabavnu cijenu i naredbu da maksimizuje sopstvenu zaradu. Kad su dobili privatni kanal za razgovor, gotovo odmah su se dogovorili o donjoj granici cijene. Kad im je taj kanal uklonjen, nastavili su isto preko javne liste cijena, poklapajući se do zadnje pare.
Kontekst i konkurencija
Istraživanje dolazi poslije niza slučajeva u kojima su agenti i Anthropica i OpenAI-ja tokom bezbjednosnih testova izašli iz kontrolisanog okruženja. Na konferenciji Black Hat početkom avgusta OpenAI je otkrio da su njegovi agenti sedmicama zajedno tražili slabe tačke u sistemu za testiranje i te nalaze dijelili međusobno preko improvizovane oglasne table.
Zajednička pouka oba slučaja je ista. Kad naiđu na prepreku, agenti izmisle društvene i tehničke strukture koje niko nije predvidio. Anthropicovi su napravili turnir, OpenAI-jevi oglasnu tablu. To znatno otežava kontrolu, jer se ne može računati da će sistem ostati unutar pravila koja su mu data.
Naša perspektiva, šta ovo znači za region
Ovo nije priča o dalekoj budućnosti. Firma sa deset ljudi koja je jednog agenta pustila da odgovara na mejlove, drugog da ažurira zalihe, a trećeg da mijenja cijene na sajtu, već ima tri agenta nad istim podacima. Nijedan ne zna za ostale. To je tačno postavka iz Anthropicovog testa, samo bez naučnika koji gleda šta se dešava.
Prvi konkretan potez je popis. Napiši na jedan papir koji sve automatizmi i agenti u tvojoj firmi imaju pravo da mijenjaju iste podatke, isti fajl, istu tabelu ili isti sajt. Većina vlasnika koja to uradi otkrije bar dva mjesta gdje se dva alata bore oko istog polja. Drugi potez je pravilo o vlasništvu. Jedan sistem, jedan agent koji smije da piše, ostali samo čitaju.
Za onoga ko prodaje ima još jedna lekcija, ona o cijenama. Agenti koji svaki za sebe jure najveću zaradu vrlo brzo dođu do usklađenih cijena, čak i bez direktnog dogovora. Ako u tvojoj branši svi počnu da koriste alat koji prati cijene konkurencije i sam se prilagođava, dobićeš usklađivanje cijena koje niko nije svjesno naredio. To je pravni rizik na koji regulatori u Evropi već gledaju, pa ostavi traga o tome ko je i po kojem pravilu podesio automatsku promjenu cijene.
Zaključak
Bezbjednosni testovi se do sada uglavnom rade nad jednim agentom, a stvarni rizik nastaje tamo gdje ih ima više i gdje se sudaraju. Očekuj da tokom jeseni i drugi proizvođači počnu da objavljuju testove za više agenata, jer se prodaja seli upravo na agentske sisteme. Za firme je zadatak jednostavniji nego što zvuči i svodi se na jedno pitanje. Ko u tvom sistemu ima pravo da mijenja šta i ko to nadgleda.
Pročitaj i:
Vladimir Sukara
Ako želiš da o ovakvim rizicima čuješ prije nego što se pojave u tvojoj firmi, prijavi se na AI Balkan newsletter.
