MIT razvio alat koji za sekunde predviđa potrošnju struje AI sistema

Istraživači MIT-a i IBM-a objavili EnergAIzer model koji u par sekundi procjenjuje koliko će struje potrošiti određeni AI workload na konkretnom čipu, sa greškom od svega 8 odsto.

Potrošnja struje AI sistema postala je jedan od najvećih troškovnih i ekoloških problema u tehnološkoj industriji. Procjene Lawrence Berkeley National Laboratory pokazuju da bi data centri do 2028. mogli trošiti čak 12 odsto ukupne električne energije u SAD. Tim sa MIT-a i MIT-IBM Watson AI laboratorije sada je predstavio alat pod imenom EnergAIzer, koji za par sekundi može da procijeni koliko struje će potrošiti određeni AI model na određenom čipu. Tradicionalne metode za istu procjenu trebaju sate ili dane. Ova razlika u brzini ima konkretne implikacije za svakoga ko razmišlja o trošku AI infrastrukture, uključujući firme u regionu koje već plaćaju cloud račune.

1. MIT i IBM razvili alat EnergAIzer koji procjenjuje potrošnju struje AI workload-a za par sekundi
2. Greška procjene je oko 8 odsto, što je uporedivo sa metodama koje traju satima
3. Alat radi za različite hardverske konfiguracije, uključujući i one koje još nisu u upotrebi
4. Procjene Lawrence Berkeley laboratorije: data centri u SAD bi do 2028. mogli trošiti 12 odsto ukupne struje
5. Operateri data centara mogu koristiti alat da rasporede AI modele na čipove gdje će biti najefikasniji

Šta se tačno desilo

Tim koji predvode Kyungmi Lee (MIT postdoc) i Anantha P. Chandrakasan (MIT prorektor) razvio je metodu za brzu procjenu potrošnje struje AI sistema. Rezultate su predstavili na IEEE konferenciji o performansama softverskih sistema.

Tradicionalni način procjene radi tako što alat simulira korak po korak šta se dešava unutar grafičke kartice (GPU) dok obrađuje AI model. Ovo je sporo jer AI workload može imati milione operacija. Trening velikog modela traje danima, pa i simulacija traje slično dugo.

EnergAIzer ne simulira sve. Umjesto toga, koristi činjenicu da AI workload ima ponavljajuće obrasce. Kad programer optimizuje kod da brzo radi na GPU, on stvara pravilnu strukturu i baš tu strukturu alat prepoznaje i koristi za procjenu. Da bi rezultat bio tačan, dodali su korekcije zasnovane na stvarnim mjerenjima sa GPU čipova (fiksni trošak pokretanja programa, gubitak zbog konflikta u pristupu podacima, fluktuacije u hardveru).

Korisnik unese koji AI model planira da pokrene, koliko korisnika i koliko dug input, i EnergAIzer izbacuje procjenu potrošnje struje. Može se mijenjati i konfiguracija GPU-a da se vidi kako različite postavke utiču na potrošnju.

Kontekst i konkurencija

Predviđanje potrošnje struje za AI nije nova tema, ali je do sada bilo područje akademskog istraživanja, ne praktični alat. Velike kompanije poput Google-a, Microsofta i Amazona imaju interne sisteme za optimizaciju potrošnje u svojim data centrima, ali ti alati nisu javno dostupni.

NVIDIA, kao dominantni proizvođač GPU čipova za AI, takođe objavljuje benchmark podatke za svoje čipove, ali su ti podaci specifični za njihov hardver i ne pokrivaju širi spektar konfiguracija. Ono što EnergAIzer radi drugačije je što ima ambiciju da bude univerzalni alat radi za različite čipove, uključujući i nove generacije koje još nisu masovno u upotrebi.

Šira slika pritisak na održivost AI infrastrukture raste. Istovremeno, OpenAI, Anthropic i Google najavljuju investicije u nove data centre vrijedne stotine milijardi dolara. Microsoft je 2024. potpisao ugovor sa Constellation Energy o ponovnom pokretanju nuklearne elektrane Three Mile Island samo da bi napajao svoje AI servere. Pitanje "koliko struje troši AI" prestalo je da bude akademsko.

Naša perspektiva šta ovo znači za region

Alat poput EnergAIzer-a neće direktno koristiti firma od pet ljudi u Banjoj Luci. Ali logika koja stoji iza njega itekako hoće i to već sada.

Za firme koje koriste cloud AI servise (OpenAI API, Anthropic Claude API, Google Vertex AI), ovo je signal da troškovi AI workload-a postaju prozirni. Ako data centri počnu da naplaćuju struju realno, to će se odmah preliti u cijenu API poziva. Firma koja sad plaća 300 evra mjesečno za GPT pozive može za godinu dana plaćati 450 ne zato što su modeli skuplji, već zato što struja jeste. Praktična posljedica: svaka firma koja gradi AI rješenje treba da računa scenario "API cijena ide gore za 30-50 odsto u 24 mjeseca" i da već sada testira jeftinije modele za zadatke koji ne traže najbolji model. Konkretan primjer: ako customer support agent radi na GPT-4 za pitanja koja bi sasvim dobro riješio Claude Haiku ili open-source Llama, to je trošak koji će boljeti kada cijene odu gore.

Za marketing agencije i kreativne firme koje troše AI alate cijeli dan, ovo je znak da se planira budžet drugačije. Generisanje slika, video klipova i dugih tekstova troši nesrazmjerno više struje od kratkih tekstualnih upita. Agencija koja generiše 200 slika dnevno za klijente troši višestruko više resursa od one koja koristi ChatGPT za pisanje copy-a. Konkretan primjer: agencija u Sarajevu koja sad plaća 80 evra mjesečno za Midjourney i 20 evra za ChatGPT može u sljedećih godinu vidjeti da slike postaju dvostruko skuplje, a tekstualni alati ostaju isti. Planiranje pricinga za klijente treba da uključi ovu razliku.

Zaključak

EnergAIzer sam po sebi je akademski alat, ne proizvod koji ćeš koristiti sutra. Ali ono što označava jeste prelaz tačke gdje se potrošnja struje AI sistema više ne tretira kao "neko će to riješiti", već kao mjerljiva varijabla u trošku poslovanja. Sljedeća godina će vjerovatno donijeti prve cjenovne korekcije AI API servisa zbog struje, i prve regulative koje će tražiti od velikih firmi da prijavljuju potrošnju AI workload-a slično tome kako se danas prijavljuje emisija ugljenika.