Ha valaki visszatérő vendég itt a Techwokon, szinte biztosan találkozott már nálunk a különféle, offline is használható nyelvi modellekkel, mint az Llama vagy a Gemma. Nem csak ez a kettő létezik, számtalan hasonló érhető el teljesen ingyen a Hugging Face gyűjteményében. A kérdés csak az, hogy miként tudjuk ezeket a lehető legegyszerűbben működésre bírni a számítógépen, vagy akár egy okostelefonon. Az eddig – AI rovatunkban – bemutatott megoldások között ugyan vannak egyszerűbben beüzemelhetők, de olyan, mint a mai tesztalanyunk, nem volt még. Ez egy praktikus kis offline AI csevegő iPhone-ra és macOS-re, amelyet hihetetlenül egyszerű telepíteni mindkét rendszeren, s a használni kívánt modellek között is teljes kényelemben válogathatunk.
Private LLM offline AI csevegő iPhone-ra és macOS-re, hihetetlenül egyszerű telepítéssel
Bár a Meta Llama, Google Gemma, Phi, Solar, Mistral és hasonló nyelvi modellek alapvetően ingyenesek, de ezek használatához szükségünk van valamilyen megoldásra. Az Ollama és társai ugyan szintén ingyen érhetőek el, de használatuk nem feltétlenül adja magát a kezdő felhasználók számára. Itt van viszont a Private LLM, amelyért ugyan egyszeri befektetésként ki kell fizetnünk egy négyezer forint körüli összeget, de cserébe a végtelenségig leegyszerűsíti a fent említett nyelvi modellek és azok leszármazottainak telepítését és használatát. Ráadásul nem csak Macen, hanem akár egy iPhone-on is.
Az app megvásárlása és telepítése után (a vásárlással a maces és iPhone-os változathoz egyaránt hozzájuthatunk az App Store-ból) azonnal indítható és használható. Integráltan a StableLM Zephyr 3B modellt tartalmazza, amellyel minden további nélkül azonnal elkezdhetünk csevegni, elsősorban angolul. Bár nem ez a legjobban sikerült nyelvi modell, ráadásul ez eleve a StableLM egy kisméretű, úgymond kevesebb tudású változata, de általánosabb információkról történő csevegéshez megteszi. Csekélyebb tudását villámgyors válaszokkal ellensúlyozza.
Ha jobban felkészült – és esetleg tört magyarsággal is válaszoló – modellt szeretnénk helyette, amelyik képes szövegek írására, fordítására, vagy akár programkódok készítésére is, akkor csak annyi a teendőnk, hogy a program Settings menüpontjával előcsalható ablak Models felületén egy-egy mozdulattal letöltjük, amire szükségünk van. A Private LLM szinte minden fontos modell változatot képes letölteni a Hugging Face gyűjteményből, de előzékenyen csak azokat a modelleket mutatja a listában, amelyek megbízhatóan használhatók. Ez fontos, hiszen például a régebbi iPhone modellek memóriája meglehetősen visszafogott méretű, márpedig a nyelvi modellek igencsak nagyok tudnak lenni.
Ugyanez igaz amúgy a Macek esetében is. Bár vannak olyan modellek, amelyek 8 GB memória társaságában is vidáman dolgoznak, de a normálisabb változatok számára minimum 16 GB vagy inkább több memóriára van szükség. Mindenesetre nagyobbakat letölteni, mint amit elbír az eszközünk, nem lenne értelme, mert vagy el sem indulna, vagy – és ez a jobbik eset – irgalmatlanul lassan válaszolna, s jó eséllyel azt is csak egy ideig. Szóval a Privat LLM fejlesztőinek döntése ebből a szempontból üdvözlendő, elég azt elénk tárni, ami jó eséllyel működik. Nekünk még így is volt olyan modell, ami a mérete alapján szerintünk és a fejlesztők szerint is működőképes lenne mondjuk egy iPhone 11 Pro készüléken, de mégis összeomlott tőle az app. Ilyen előfordulhat, szóval akinek ilyen régebbi készüléke van, annak mi a Gemma-2 2B modellt javasoljuk, azzal nálunk nem volt gond. Újabb iPhone-okon, amelyekbe már 8 GB RAM-ot pakolt az Apple, természetesen nagyobb a választék és a működési sebesség is. Egy iPhone 16 Pro esetében összehasonlíthatatlanul zökkenőmentesebb a működés.
Szóval a modellek telepítése rendkívül leegyszerűsített folyamat a programban, a telepített darabok között pedig egyetlen mozdulattal válthatunk, akár egy megkezdett csevegés közben is. Mondjuk a Privat LLM felülete úgy általában sincs túlbonyolítva, finoman szólva puritán kis alkalmazás, egyetlen csevegési felülettel. Sajnos arra egyelőre nincs lehetőség, hogy a korábbi, AI-val végzett csevegéseinket elmentsük, mint mondjuk a ChatGPT-ben. Ha végeztünk, itt – jelenleg – csak törölni lehet az elhangzottakat, s új beszélgetésbe kezdeni az MI-vel. Csevegéseink egyébként teljesen offline módon zajlanak, semmi nem hagyja el a készüléket. Sajnos olyannyira, hogy nincs alapból online keresésre sem lehetőség, vagyis csak arra a tudásbázisra hagyatkozhatunk, amivel az adott modell éppen rendelkezik. Cserébe minden privát módon működik, rajtunk kívül senki nem lát bele a csevegések tartalmába.
Érdekesség viszont, hogy a Privat LLM támogatja az Apple Shortcuts (Parancsok) megoldását is, s az oldalon közzéteszik a Privat LLM felhasználók által készített és beküldött Parancsokat, amelyeket letölthetünk és beépíthetünk saját Apple Shortcuts gyűjteményünkbe. Nálunk ugyan nem mindegyik működött, de maga az ötlet remek, hiszen így jelentősen kibővíthető a Privat LLM chatek forráslehetőség és számtalan egyedi tartalmat tudunk feldolgoztatni az offline AI-val. Ráadásul aki jártasabb az Apple Shortcuts használatában, az létrehozhat sajátokat is.
Összegzésül
Mindent egybevetve a Private LLM egy végtelenségig leegyszerűsített offline AI-chat alkalmazás macOS-re és iOS-re, amellyel a régebbi eszközökön is lehet esélyünk életre bírni offline AI modelleket, de azért itt is jobban jár az, akinek újabb Mac vagy iPhone áll a rendelkezésére. Bár ezek a modellek, ezzel az appal nem használhatók olyan sokoldalúan, amit mondjuk a ChatGPT-től megszoktunk, de cserébe semmi nem hagyja el a készülékeinket, teljesen privát módon cseverészhetünk – akár internetkapcsolat nélkül is – a generatív mesterséges intelligenciával. Elsősorban angolul, de az Llama és Gemma modellek elég jól kommunikálnak több nyelven, például magyarul is (sajnos itt is igaz, hogy az Llama 3.1 70B változat sokkal kevésbé töri a magyar nyelvet, mint mondjuk egy 1B, 3B vagy 9B változat. Csak hát a 70B-s változathoz 48 GB RAM kell a Macbe és a 33B verzió is minimum 24 GB-ra áhítozik. Persze ha ez megvan, akkor simán beüzemelhetjük ezeket is a Private LLM segítségével, nagyjából két kattintással.
Jelen formájában inkább a kezdőknek lehet nagyon csábító ez a megoldás, hiszen nem kell külön letöltögetni, konfigurálni semmit. Az online kapcsolat (a friss információk kerestetéséhez) és a menthető csevegések hiányoznak talán belőle a legjobban nekünk, vagy például az, hogy hasonló egyszerűséggel lehessen megadni neki egy dokumentumot is, amelynek a tartalmát feldolgozhatjuk az AI-val. Reméljük, a későbbi frissítésekben ezek a funkciók is megérkeznek majd.
