Lokalni AI bez interneta Inkling 2 Mini i kada ima smisla za firmu
Thinking Machines je objavio Inkling 2 Mini, otvoreni model koji radi na laptopu bez interneta. Kada lokalni AI ima smisla za firmu, šta treba hardver i šta nije potvrđeno.
Inkling 2 Mini je otvoreni AI model laboratorije Thinking Machines koji prema njihovoj objavi zauzima oko 20 GB i može raditi lokalno na laptopu, bez interneta. Objavljen je 20. novembra pod licencom Apache 2.0, a podržani su Apple računari s 32 GB ili više memorije. Za firmu to znači da ugovori i podaci klijenata mogu ostati na vlastitom računaru, ali kvalitet za bosanski jezik nije potvrđen.
Mnoge firme u regionu ne smiju ili ne žele slati ugovore, plate i podatke klijenata u oblak. Lokalni model je odgovor na to, ali samo ako radi dovoljno dobro i ako ga neko zna postaviti. Evo šta znamo nakon prvog dana i šta tek treba provjeriti.
Šta je Inkling 2 Mini
Prema kartici modela, to je multimodalan model (prima tekst i slike, odgovara tekstom) s 26,4 milijarde parametara, od kojih je 3,4 milijarde aktivno. Zbog posebne arhitekture ponavljanja sredinskih slojeva (tri prolaza po tokenu) efektivno radi s 5,4 milijarde aktivnih parametara po tokenu. Tvorci ga predstavljaju kao najbolji otvoreni model manji od 100 milijardi parametara na programerskim testovima DeepSWE v1.1 (48,2%) i Vals Index v2.2 (46,5%). To su njihove tvrdnje, ne nezavisna mjerenja.
Ostatak teksta je besplatan za članove AI Balkana: šta treba od hardvera, kako se pokreće, šta je tvrdnja proizvođača a šta nije, kada lokalni AI ima smisla i kada ne, i pet pitanja prije odluke. Prijavi se svojim emailom, traje pola minute.
Nastavi čitati uz besplatan nalog.
Otvori besplatan nalog i pročitaj cijeli vodič. Dobijaš i pristup drugim vodičima označenim za besplatne članove. Kartica nije potrebna.
Nastavi čitati besplatno