AI nadzor zakazao na ispitu, 58.000 kandidata polaže ponovo
Meksički UNAM prvi put je prijemni ispit organizovao na daljinu uz AI nadzor kamerom. Broj najboljih rezultata skočio je pet puta, procjene govore da je varala skoro polovina kandidata, a 58.000 ljudi sada ispit polaže ponovo, uživo. Lekcija za svakoga ko AI-ju prepušta kontrolu.
Najveći meksički univerzitet prvi put je prijemni organizovao na daljinu uz AI nadzor kamerom, a rezultati su bili toliko sumnjivi da se ispit ponavlja.
UNAM, najveći univerzitet u Meksiku, prvi put je prijemni ispit za skoro 160.000 kandidata organizovao potpuno na daljinu, uz zaključani pregledač i AI nadzor putem kamere. Rezultati su ispali toliko nevjerovatni da je univerzitet imenovao stručnu komisiju, a ona je sada presudila. Oko 58.000 kandidata polagaće kontrolni ispit uživo. Za firme koje AI-ju povjeravaju nadzor i kontrolu, ovo je najjeftinija moguća lekcija, jer je plaća neko drugi.
- UNAM je prijemni od kraja maja do početka juna održao na daljinu, uz Respondus LockDown pregledač i AI nadzor firme Territorium.
- Udio kandidata sa 100 i više poena skočio je sa 3,5 na 16,3 odsto, a sa 110 i više sa 0,9 na 5,5 odsto.
- Sistem je imao jednog ljudskog supervizora na 150 kandidata i poništio je manje od 2 odsto ispita.
- Stručnjak Raul Rojas na osnovu statistike procjenjuje da je varala skoro polovina kandidata.
- Komisija je preporučila kontrolni ispit uživo, koji pogađa oko 58.000 ljudi.
Šta se tačno desilo
Ispit sa 120 pitanja polagao se od kraja maja do početka juna, od kuće. Kandidati su morali instalirati pregledač koji zaključava računar, onemogućava kopiranje, pretragu i druge aplikacije, dok je AI sistem firme Territorium kroz kameru pratio da li je pred računarom prava osoba, da li koristi telefon ili slušalice i da li napušta kadar. Na svakih 150 kandidata dolazio je jedan ljudski supervizor koji je primao upozorenja sistema.
Kada su rezultati stigli, statistika je progovorila. U periodu od 2021. do 2025. godine 100 i više poena imalo je 3,5 odsto kandidata, ove godine 16,3 odsto. Najviši rang, 110 i više poena, ranije je dostizalo 0,9 odsto, sada 5,5 odsto. Sistem je pri tome poništio manje od 2 odsto ispita, dakle skoro sve prevare prošle su neopaženo. Rektor se izvinio poštenim kandidatima, ali kontrolni ispit ide svima koji su na osnovu ovogodišnjeg rezultata mogli dobiti mjesto.
Kako se varalo, još se utvrđuje. Prije ispita kružili su savjeti tipa postavi drugi monitor van kadra kamere i na njemu drži ChatGPT, sakrij slušalice ispod kose, ili plati nekoga da polaže van kamere. Pošto je ispit bio na zaokruživanje, klasični tragovi AI varanja, poput kopiranih gotovih odgovora, ne mogu se ni tražiti.
Kontekst i konkurencija
Ovo je do sada najveći javni sudar dva AI sistema, onog koji pomaže u varanju i onog koji varanje treba da spriječi. Pobijedio je prvi, i to ubjedljivo. Obrazac je isti kao kod poplave AI generisanih prijava bagova ili AI sadržaja na mrežama. Alati za proizvodnju prevare skaliraju se brže i jeftinije od alata za odbranu, a AI nadzor podešen na prosječno ponašanje pada čim ima dovoljno motivisanih ljudi sa jakim razlogom da ga zaobiđu.
Vrijedi primijetiti i šta je na kraju otkrilo prevaru. Ne AI, nego najobičnije poređenje sa istorijskim prosjekom rezultata. Ta tehnika ne košta ništa i starija je od svakog modela.
Naša perspektiva, šta ovo znači za region
Za firme koje zapošljavaju, poruka je direktna. Online testovi kandidata uz AI kontrolu varanja nisu pouzdan filter, ma šta pisalo u brošuri alata. Firma koja programere ili marketing ljude testira na daljinu treba računati da kandidat sa druge strane može imati drugi ekran i AI asistenta. Rješenje nije skuplji nadzor, nego drugačiji format, kratak zadatak koji se radi i objašnjava uživo, na razgovoru, ili plaćeni probni zadatak gdje se vidi stvarni način rada.
Za firme koje AI uvode u kontrolne procese, otkrivanje prevara, kontrolu kvaliteta, nadzor radnog vremena, lekcija je ista kao kod UNAM-a. AI nadzor mora imati statističku kontrolu iznad sebe. Konkretno, uporedite brojke poslije uvođenja AI sistema sa istorijskim prosjekom. Ako su rezultati odjednom predobri, to obično nije napredak nego rupa u sistemu. UNAM je do tog zaključka došao tek kad je 58.000 ljudi već polagalo, firma to može provjeriti na prvih sto slučajeva.
Šta pratiti dalje
Testiranja na daljinu neće nestati, prejeftina su i prepraktična. Ali čisti AI nadzor bez ljudske i statističke rezerve poslije ovoga postaje teško branjiva odluka. Očekujte hibridne modele, AI za masovni prvi krug, a čovjek i statistika za odluke koje nešto vrijede.
Pročitaj i:
Vladimir Sukara
Ako želiš da svake sedmice dobiješ AI vijesti prevedene na konkretne odluke za tvoju firmu, prijavi se na AI Balkan newsletter.
