Lokalni AI bez interneta Inkling 2 Mini i kada ima smisla za firmu

Thinking Machines je objavio Inkling 2 Mini, otvoreni model koji radi na laptopu bez interneta. Kada lokalni AI ima smisla za firmu, šta treba hardver i šta nije potvrđeno.

Pixel art: laptop u brvnari s planinama u prozoru i precrtanim simbolom bežičnog interneta
Sadržaj

Inkling 2 Mini je otvoreni AI model laboratorije Thinking Machines koji prema njihovoj objavi zauzima oko 20 GB i može raditi lokalno na laptopu, bez interneta. Objavljen je 20. novembra pod licencom Apache 2.0, a podržani su Apple računari s 32 GB ili više memorije. Za firmu to znači da ugovori i podaci klijenata mogu ostati na vlastitom računaru, ali kvalitet za bosanski jezik nije potvrđen.

Mnoge firme u regionu ne smiju ili ne žele slati ugovore, plate i podatke klijenata u oblak. Lokalni model je odgovor na to, ali samo ako radi dovoljno dobro i ako ga neko zna postaviti. Evo šta znamo nakon prvog dana i šta tek treba provjeriti.

Šta je Inkling 2 Mini

Prema kartici modela, to je multimodalan model (prima tekst i slike, odgovara tekstom) s 26,4 milijarde parametara, od kojih je 3,4 milijarde aktivno. Zbog posebne arhitekture ponavljanja sredinskih slojeva (tri prolaza po tokenu) efektivno radi s 5,4 milijarde aktivnih parametara po tokenu. Tvorci ga predstavljaju kao najbolji otvoreni model manji od 100 milijardi parametara na programerskim testovima DeepSWE v1.1 (48,2%) i Vals Index v2.2 (46,5%). To su njihove tvrdnje, ne nezavisna mjerenja.

Ostatak teksta je besplatan za članove AI Balkana: šta treba od hardvera, kako se pokreće, šta je tvrdnja proizvođača a šta nije, kada lokalni AI ima smisla i kada ne, i pet pitanja prije odluke. Prijavi se svojim emailom, traje pola minute.

Nastavi čitati uz besplatan nalog.

Otvori besplatan nalog i pročitaj cijeli vodič. Dobijaš i pristup drugim vodičima označenim za besplatne članove. Kartica nije potrebna.

Već imaš nalog? Prijavi se

Komentari su dostupni Premium članovima.

Besplatan nalog otključava vodiče za članove. Za komentarisanje izaberi AI Balkan Pro.

Već imaš nalog? Prijavi se

AI vijesti i praktični vodiči u tvom inboxu.

Prijavi se besplatno i izaberi newslettere koje želiš da pratiš u svom nalogu. Prijavom možeš upravljati i kasnije.

Provjerite svoj inboks i potvrdite. Nešto je pošlo po zlu. Pokušajte ponovo.