Thinking Machines Lab poslije godinu i po rada objavio prvi proizvod i stao na stranu firmi koje žele da posjeduju svoj AI umjesto da ga iznajmljuju.

Thinking Machines Lab, kompanija bivše tehničke direktorke OpenAI-ja Mire Murati, objavila je 15. jula svoj prvi AI model pod imenom Inkling. Za razliku od ChatGPT-a, Claude-a i Geminija, Inkling je otvoreni AI model (open-weight), što znači da ga firme mogu preuzeti, pokrenuti na svojoj infrastrukturi i prilagoditi svojim podacima. Argument iza te odluke pogađa pravo u budžet svake firme koja danas plaća pretplate na AI alate.

• Inkling ima 975 milijardi parametara, ali za pojedinačni zadatak koristi oko 41 milijardu, pa je brži i jeftiniji za pokretanje od klasičnih modela te veličine
• Treniran je na 45 biliona tokena teksta, slike, zvuka i videa, a objavljen je pod licencom Apache 2.0 koja dozvoljava komercijalnu upotrebu i izmjene
• Na testu programiranja SWE-bench Verified postiže 77,6 odsto, a na testu razumijevanja govora VoiceBench 91,4 odsto
• Firma ne tvrdi da je Inkling najjači model na tržištu. Prodaje ga kao polaznu tačku koju organizacije dorađuju kroz platformu Tinker
• Zajednički projekat sa fondom Bridgewater ranije je pokazao da dorađeni otvoreni model može pobijediti vlasničke uz oko 14 puta niže troškove rada

Šta se tačno desilo

Inkling je prvi javni proizvod firme Thinking Machines, osnovane kada je Mira Murati napustila poziciju tehničke direktorke OpenAI-ja. Model koristi arhitekturu mixture-of-experts (za svaki zadatak aktivira se samo dio mreže), pa od ukupno 975 milijardi parametara u datom trenutku radi oko 41 milijarda. U praksi to znači troškove i brzinu manjeg modela uz znanje velikog.

Model razumije tekst, sliku, zvuk i video i dizajniran je da prizna nesigurnost umjesto da pogađa. Korisnik može da podešava koliko će model razmišljati prije odgovora, pa bira između brzine i dubine. Po podacima firme, Inkling na jednom testu programiranja troši trećinu tokena koje za isti rezultat troši Nvidijin Nemotron 3 Ultra.

Neobično za industriju, Thinking Machines otvoreno kaže da Inkling nije najjači model na tržištu, ni među otvorenim ni među zatvorenim. Cilj je drugačiji. Firma prodaje pristup po kojem organizacije uzimaju solidan otvoreni model i dorađuju ga na svojim podacima kroz Tinker, njenu platformu za prilagođavanje modela. Prihod ne dolazi od samog modela, koji je besplatan, nego od alata i infrastrukture oko njega.

Inkling u brojkama:

• Ukupno parametara: 975 milijardi
• Aktivno po zadatku: oko 41 milijarda
• Podaci za trening: 45 biliona tokena (tekst, slika, zvuk, video)
• SWE-bench Verified (programiranje): 77,6 odsto
• VoiceBench (razumijevanje govora): 91,4 odsto
• Licenca: Apache 2.0, komercijalna upotreba dozvoljena
• Od osnivanja firme do proizvoda: oko 9 mjeseci

Kontekst i konkurencija

Objava stiže u sedmici u kojoj se argument za otvorene modele čuje sa neočekivanih strana. Satya Nadella, direktor Microsofta koji je uložio milijarde i u OpenAI i u Anthropic, upozorio je da firme koje koriste vlasničke AI modele plaćaju dva puta. Prvi put kroz pretplatu, a drugi put tako što kroz hiljade promptova i ispravki predaju svoje poslovno znanje, koje se onda ugrađuje u buduće verzije tuđeg modela.

Najjači dokaz ekonomije dolazi iz projekta sa Bridgewaterom, najvećim hedž fondom na svijetu. Istraživači su uzeli postojeći otvoreni model i dotrenirali ga na finansijskom znanju fonda. Rezultat je postigao 84,7 odsto na testovima finansijskog rezonovanja, više od najjačih vlasničkih modela, uz oko 14 puta niže troškove rada. Brojke dolaze iz zajedničke evaluacije dvije firme, ne iz nezavisne provjere, ali pravac je jasan.

Ima i manje sjajnih detalja. Thinking Machines priznaje da je dio ranih podataka za doradu modela generisan uz pomoć drugih otvorenih modela, uključujući kineski Kimi K2.5. Firma zapošljava oko 200 ljudi i do proizvoda je stigla za oko devet mjeseci, dok je OpenAI-ju i Anthropicu za isti korak trebalo tri do pet godina.

Naša perspektiva, šta ovo znači za region

Za firme sa osjetljivim podacima ovo je najzanimljiviji pravac razvoja AI tržišta. Računovodstvena agencija ili zdravstvena ustanova koja ne smije slati podatke klijenata u tuđi cloud može pokrenuti otvoreni model na svom serveru ili kod domaćeg provajdera i imati AI koji ništa ne dijeli ni sa kim. Licenca Apache 2.0 znači da za to ne treba ničija dozvola ni naknada.

Drugi dio priče je manje sjajan i treba ga reći iskreno. Dorada modela (fine-tuning) traži ozbiljno znanje mašinskog učenja koje mala firma u regionu nema i ne treba da gradi. Realan put je drugačiji. Domaće IT firme i agencije dobijaju priliku da na otvorenim modelima grade gotova rješenja pod ključ za lokalne klijente, po cijeni koju vlasnički modeli teško mogu pratiti. Firma koja danas plaća 500 KM mjesečno za AI pretplate za tim od deset ljudi ima razlog da za godinu dana traži i ponudu na bazi otvorenog modela.

Zaključak

Inkling sam po sebi neće ugroziti ChatGPT ni Claude. Ali potvrđuje trend koji se već vidi u brojkama, rutinski AI posao seli se na otvorene i privatne modele, a vlasnički ostaju za najteže zadatke. Konkretno predviđanje, do kraja godine prve IT firme u regionu počeće da nude poslovna rješenja na otvorenim modelima kao standardnu uslugu. Vrijedi pratiti i najavljeni sljedeći model firme, koji bi trebalo da bude treniran bez pomoći tuđih modela.

Pročitaj i:

Firme u regionu i dalje postavljaju pogrešno pitanje o AI

Aco Momčilović, autor i voditelj emisije AI Central Point, ponavlja tri teze o vještačkoj inteligenciji. Poklapaju se sa onim što viđam kod firmi u BiH, uz jedno mjesto gdje se iz ugla implementacije razilazim. Evo šta to znači za vlasnike firmi u regionu.

Vladimir SukaraAIBalkan - vijesti o vještačkoj inteligenciji

Ako želiš da svake sedmice dobiješ najvažnije AI vijesti prevedene na jezik posla, bez tehničkog žargona i sa konkretnim primjerima za region, prijavi se na AI Balkan newsletter.