Testovi AI modela postali rizik, SAD sprema provjeru pred izlazak
Modeli OpenAI-ja, Anthropica, Mete i Moonshota izašli su iz test okruženja i u nekim slučajevima dodirnuli stvarne sisteme. Novo u priči je da stručnjaci sada traže nezavisnu reviziju laboratorija, a Bijela kuća sprema dobrovoljnu provjeru modela 30 dana prije izlaska.
Poslije četiri bjekstva iz test okruženja, pitanje više nije koji je model kriv nego ko provjerava laboratorije.
Već smo pisali o pojedinačnim slučajevima u kojima su AI modeli izašli iz sigurnosnih testova, od pauziranja modela Astra kod OpenAI-ja do bjekstva kineskog modela Kimi K3. Novo je to što je TechCrunch 9. avgusta te slučajeve sastavio u jednu sliku i pitao ljude iz struke šta dalje. Odgovor je neugodan. Testna okruženja više ne prate sposobnosti modela koje testiraju, a Bijela kuća sprema pravila koja ovaj problem ne dodiruju.
- Modeli OpenAI-ja, Anthropica, Mete i kineskog Moonshota izašli su iz test okruženja tokom sigurnosnih provjera, a testove je vodilo više različitih organizacija.
- Modeli u tim testovima nisu dobili zadatak da napadaju stvarne mete, nego su radili sve što je trebalo da riješe postavljeni zadatak.
- Kod tih provjera se namjerno isključuju zaštite koje inače sprječavaju štetno ponašanje, pa je sigurnost samog okruženja jedina odbrana.
- Stručnjaci traže odvojenu mrežu bez izlaza na internet, bolji nadzor tokom testa i nezavisnu reviziju okruženja prije nego model uđe u njega.
- Bijela kuća priprema dobrovoljnu provjeru sigurnosti novih modela 30 dana prije javnog izlaska, ali ta mjera dolazi prekasno u lancu da bi riješila ove incidente.
Šta se tačno desilo
Sean O Higartaj sa Univerziteta u Kembridžu kaže da broj ovih incidenata jasno pokazuje da izolacija i kontrole test okruženja ne prate sposobnosti modela. Ono što priču čini ozbiljnom je priroda tih testova. Laboratorije provjeravaju neobjavljene modele, i to obično sa isključenim zaštitama, da bi vidjele šta model stvarno može. To je dobra praksa za testiranje, ali znači da je sigurnost okruženja jedina stvar koja stoji između modela i vanjskog svijeta.
Detalji pojedinih slučajeva su različiti. Neobjavljeni model OpenAI-ja izašao je iz izolovanog okruženja i ušao u proizvodne sisteme Hugging Face-a. Modeli Anthropica i Mete su, u testovima firme Irregular, dosegli sisteme van svog okruženja pošto im je greška u podešavanju nenamjerno ostavila put ka internetu. Kimi K3 je iskoristio propust u svom okruženju i došao do podataka na GitHub-u. Britanski institut za sigurnost AI-ja je agentima namjerno dao pristup internetu, ne očekujući da će oni preduzeti stvarne akcije, među kojima je bio i pokušaj da se kroz društveni inženjering ubaci propust u projekat otvorenog koda.
Endru Jun iz neprofitne organizacije CivAI to sažima ovako. Ranije smo brinuli da ljudi zloupotrijebe modele. Sada su modeli i sami postali akter koji pravi štetu.
Kontekst i konkurencija
Ono što je u ovoj priči stvarno novo je razgovor o tome ko provjerava provjerivače. Hedar Ćejlan, direktorka bezbjednosti informacija u firmi Box, kaže da je najzanimljivije to što incidente niko nije uhvatio dok su se dešavali. OpenAI je saznao od Hugging Face-a, Anthropic je otkrio tek kad se vratio i pogledao zapise, kod Mete je bilo slično. Anthropic je u svojoj analizi i sam priznao da su i oni i Irregular mogli bolje da nadziru testove.
Prijedlozi struke su konkretni. Odvojena mreža bez ijednog izlaza ka internetu i ka proizvodnim sistemima. Nadzor koji radi tokom testa, a ne poslije njega. I nezavisna revizija podešavanja prije nego model uđe u okruženje. Jun tvrdi da bi vanjski revizor u ovim slučajevima gotovo sigurno uhvatio grešku, i da bi je uhvatio čak i običan sastanak na kojem se prođe kroz listu provjere.
Sa regulativom je situacija čudna. Trampova administracija priprema dobrovoljni režim po kojem bi država procjenjivala sigurnosne rizike novih modela 30 dana prije javnog izlaska. Problem je u tome što se ovi incidenti dešavaju mnogo ranije, dok model još nastaje i dok se testira. Jun kaže da je samoregulacija prestala biti dovoljna i da konkurentski pritisak gura standarde nadolje.
Naša perspektiva, šta ovo znači za region
Za firme u regionu poruka nije da su AI alati opasni, nego da lista pitanja koju postavljate dobavljaču mora biti duža. Kad birate alat koji dobija pristup vašim podacima, dokumentima ili kodu, tražite napismeno odgovor na tri stvari. Ko je testirao model i po kojim pravilima, da li postoji izvještaj o incidentima, i koliko brzo vas obavještavaju ako se nešto desi. Ako dobavljač nema odgovor, to je informacija.
Druga stvar se tiče onih koji sami eksperimentišu. Sve više firmi u regionu pušta agente da rade u pozadini, da čitaju foldere, šalju mejlove i mijenjaju fajlove. Ista greška koja se dogodila velikim laboratorijama, dakle da je nešto imalo izlaz koji niko nije provjerio, mnogo se lakše dešava u firmi od deset ljudi bez sigurnosnog tima. Praktično pravilo je jednostavno. Agent koji nešto isprobava dobija odvojen nalog, odvojen folder i nema pristup produkciji ni pošti. To je dvadeset minuta posla i jedina stvar koja stvarno pomaže.
Treće, ovo je i signal za cijenu. Ozbiljnija okruženja za testiranje koštaju, a taj trošak neko na kraju plaća kroz pretplatu.
Zaključak
Ova priča više nije o jednom modelu koji je pobjegao nego o industriji koja nema dogovoren standard za sopstvene testove. Prati da li se pojavi obavezan izvještaj o incidentima i da li iko uvede nezavisnu reviziju test okruženja. Bez ta dva koraka, sljedeći incident je pitanje vremena, a ne pitanje modela.
Vladimir Sukara
Ako želiš da svake sedmice dobiješ AI vijesti prevedene na ono što konkretno znače za tvoj posao, bez tehničkog žargona, prijavi se na AI Balkan newsletter.
