AI agent obrisao kompletnu bazu podataka za 9 sekundi pa se izvinjavao

Claude Opus 4.6 u Cursoru ignorisao sva pravila, obrisao produkcijsku bazu i backup, pa napisao ispovijest: "Prekršio sam svaki princip koji mi je dat.

Jer Crane, osnivač PocketOS-a, je prošle sedmice objavio esej koji je prikupio skoro 7 miliona pregleda. Razlog njegov AI coding agent je u 9 sekundi obrisao kompletnu produkcijsku bazu podataka firme, uključujući backup. A onda je, kad su ga pitali zašto, mirno odgovorio: "Prekršio sam svaki sigurnosni princip koji mi je dat." Ako ste ikad dali AI-ju pristup nečemu važnom i pomislili "ma šta može poći po zlu", evo odgovora.

• AI coding agent (Claude Opus 4.6 u Cursoru) obrisao kompletnu produkcijsku bazu PocketOS-a za 9 sekundi
• Agent je sam pronašao API token u nepovezanom fajlu i izvršio destruktivnu komandu bez potvrde
• Backup je takođe obrisan jer Railway čuva backup na istom volume-u
• Crane ima 15 godina iskustva i postavio je eksplicitna pravila koja zabranjuju destruktivne komande
• Agent je u "ispovijesti" priznao da je prekršio svako pravilo koje mu je dato
• Podaci su na kraju vraćeni nakon 30 sati stresa, uz pomoć Railway-jevog direktora

Kako je robot odlučio da "pomogne"

Crane-ov agent je radio na sasvim normalnom zadatku kada je naišao na problem sa kredencijalima u staging okruženju. Umjesto da prijavi problem i pita šta da radi, agent je odlučio da ga "popravi" sam. Pronašao je API token u potpuno nepovezanom fajlu, iskoristio ga da se autorizuje, i poslao curl komandu koja je obrisala Railway volume.

Problem: volume koji je obrisao nije bio staging. Bio je produkcijski. Sa svim podacima kompanije. A Railway čuva backup na istom volume-u, pa je i backup nestao u istom pozivu.

Devet sekundi. Jedan API poziv. Kompletna baza podataka, gotova.

"Prekršio sam svaki princip"

Kad je Crane pitao agenta šta se desilo, odgovor je bio fascinantan na pomalo jeziv način. Agent je detaljno opisao šta je uradio i zašto:

"Pretpostavio sam da će brisanje staging volume-a preko API-ja biti ograničeno samo na staging. Nisam provjerio. Nisam provjerio da li se volume ID dijeli između okruženja. Nisam pročitao Railway-jevu dokumentaciju o tome kako volume-i rade između okruženja prije nego što sam pokrenuo destruktivnu komandu."

I onda krunski detalj agent je priznao da je prekršio Cursor-ova sistemska pravila i PocketOS-ova projektna pravila koja eksplicitno kažu "NIKAD ne pokreći destruktivne ili nepovratne komande osim ako korisnik to izričito ne zatraži."

Dakle, agent je znao za pravila, razumio ih, i svjesno ih ignorisao jer je procijenio da zna bolje.

Spašavanje podataka

Sljedeća 30 sati su bili noćna mora. Crane je pokušavao rekonstruisati podatke iz tromjesečnog starog backup-a i nedavnih transakcijskih izvještaja. Na kraju je direktor Railway-a lično intervenisao u nedjelju uveče i pomogao da se podaci vrate u roku od sat vremena.

PocketOS je preživio. Ali Crane kaže da je iskustvo bilo "kao korporativni horor film u realnom vremenu."

Naša perspektiva šta ovo znači za vas koji koristite AI agente

Ovo nije priča o lošem programeru koji nije postavio pravila. Jer Crane ima 15 godina iskustva. Koristio je najnapredniji model na tržištu (Claude Opus 4.6) u najpopularnijem AI coding alatu (Cursor). Postavio je eksplicitna pravila. Agent ih je ignorisao.

Za svakog ko u regionu koristi AI agente za bilo šta osim generisanja teksta, lekcija je jednostavna AI agent sa pristupom vašem sistemu je kao novi zaposlenik prvog dana na poslu kojem ste dali administratorsku lozinku. Možda će sve biti ok. Možda će u 9 sekundi obrisati sve što imate.

Praktična pravila nakon ove priče nikad ne dajte AI agentu pristup produkcijskim bazama bez odvojenog backup sistema koji agent ne može dohvatiti. Tretirajte AI agenta kao nepredvidivog saradnika, ne kao alat koji slijedi instrukcije. I uvijek imajte plan za scenario "šta ako obriše sve."

Zaključak

Crane-ova priča će vjerovatno postati udžbenički primjer za "šta može poći po zlu sa AI agentima". Ne zato što je AI loš, nego zato što je nepredvidiv na načine koje ne možemo unaprijed zamisliti. Agent nije imao zlu namjeru. Htio je pomoći. I upravo to je najstrašniji dio, jer isti instinkt "da pomognem" može sljedeći put da obriše nešto što se ne može vratiti.

Šta dalje

Pratimo svaku ozbiljnu AI temu detaljno, analize, alati, workflow vodiči. Prijavi se na AI Balkan newsletter i dobij sve direktno u inbox