Meta pustila Muse Glimmer, AI model koji radi lokalno bez interneta
Meta je objavila Muse Glimmer, model od 30 milijardi parametara pod Apache 2.0 licencom koji radi na običnom računaru sa jednom grafičkom karticom. Bez interneta, bez računa po tokenu i bez slanja podataka na tuđi server. Za firme koje rade sa osjetljivim podacima ovo mijenja računicu.
Model od 30 milijardi parametara staje na jednu potrošačku grafičku karticu, radi bez veze sa internetom i dolazi pod licencom koja dozvoljava komercijalnu upotrebu.
Meta je objavila Muse Glimmer, otvoreni AI model namijenjen agentima koji rade lokalno, direktno na računaru korisnika. Model ima 30 milijardi parametara, izlazi pod Apache 2.0 licencom i pokreće se na običnom desktopu ili MacBook računaru sa jednom grafičkom karticom. Ključna razlika u odnosu na alate koje većina firmi danas koristi je u tome što ovdje nijedan podatak ne napušta kancelariju i nema računa koji raste sa svakim upitom.
- Muse Glimmer ima 30 milijardi parametara i objavljen je pod Apache 2.0 licencom, koja dozvoljava i komercijalnu upotrebu.
- Meta je težine sabila na oko 4 bita, pa jezički model zauzima ispod 20 GB i staje u karticu od 24 ili 32 GB.
- Radi u potpunosti na uređaju, bez veze sa internetom.
- Model razumije i slike, pa agent može čitati snimke ekrana, grafikone i dokumente.
- Treniran je na podacima iz preko sto jezika, a dostupan je na Hugging Face platformi.
Šta se tačno desilo
Muse Glimmer je destilovan iz većeg modela Muse Spark, koji je Meta predstavila u aprilu ove godine. Destilacija znači da manji model uči da oponaša izlaz većeg, pa zadržava dobar dio kvaliteta uz mnogo manje zahtjeve za hardverom.
U punoj preciznosti model sa 30 milijardi parametara tražio bi preko 55 GB memorije, što nijedna potrošačka grafička kartica nema. Meta je zato težine sabila na oko četiri bita i spustila jezički model ispod 20 GB, uz dovoljno mjesta za obradu slika i ubrzanje odgovora.
Po Metinim mjerenjima, model odgovara 3,1 puta brže na kartici RTX 5090, 1,8 puta brže na MacBook računaru sa M5 Max čipom i 1,5 puta brže na M4 Max čipu, u poređenju sa standardnim načinom generisanja odgovora.
Model je dostupan na Hugging Face platformi, a rade i integracije sa alatima koje ljudi već koriste za lokalne modele, poput Ollama i LM Studio. Ako pozivanje nekog alata ne uspije, model je treniran da sam utvrdi grešku i pokuša ponovo, umjesto da stane.
Kontekst i konkurencija
Meta ovim popunjava drugi kraj svoje ponude. Prije nekoliko dana pustila je Muse Code, agenta za velike kodne baze, koji radi u oblaku i cilja razvojne timove.
Vladimir Sukara
Muse Glimmer ide u suprotnom smjeru, ka uređaju korisnika. Google je sličan potez povukao sa porodicom Gemma, a otvorenih modela koji rade lokalno ima sve više. Novo je to što ovaj put jedan model istovremeno nosi tri stvari koje su ranije rijetko išle zajedno, pristojnu veličinu, dozvolu za komercijalnu upotrebu i sposobnost da radi kao agent koji poziva alate.
Naša perspektiva, šta ovo znači za region
Najkonkretnija korist je za firme koje rade sa podacima koje ne smiju ili ne žele slati na tuđi server.
Knjigovodstvena agencija koja obrađuje fakture i platne liste klijenata danas ima neprijatan izbor. Ili radi ručno, ili šalje tuđe finansijske podatke u alat koji je fizički negdje u SAD. Lokalni model taj izbor uklanja. Dokumenti ostaju na računaru u kancelariji, a agent ih čita, sortira i priprema unos. Isto važi za advokatske kancelarije, ordinacije i svakoga ko drži lične podatke klijenata.
Druga korist je finansijska i tiče se predvidivosti. Alati koji se naplaćuju po tokenu imaju račun koji raste sa upotrebom, a firma unaprijed ne zna koliko će biti. Kod lokalnog modela trošak je jednokratno ulaganje u jači računar, pa struja. Za posao koji se ponavlja svaki dan, poput obrade istog tipa dokumenata, ta razlika se brzo osjeti.
Treće, ovo otvara vrata firmama koje rade na lokacijama sa lošom vezom. Proizvodni pogon, gradilište ili teren nisu mjesta gdje se računa na stabilan internet, a model koji radi bez veze tu funkcioniše isto.
Šta pratiti dalje
Prava provjera nije u tabelama sa rezultatima nego u tome koliko dobro model radi na srpskom i drugim jezicima regiona. Meta navodi preko sto jezika, ali kvalitet po jeziku varira i to se vidi tek u praksi. Ako planirate lokalni model, prvo napravite mali test na svojim stvarnim dokumentima prije nego što kupite hardver.
Ako želite da svake sedmice dobijete AI vijesti prevedene na jezik konkretnih poslovnih odluka, prijavite se na AI Balkan newsletter.
