Ha valaki visszatérő olvasónk, AI rovatunkban már számtalan alkalommal találkozhatott különféle generatív mesterséges intelligenciára épülő eszközökkel. Van ezek között kód- és szövegírásra, képgenerálásra, videók létrehozására, s egyéb feladatok elvégzésére alkalmas darab egyaránt. Ám többségüknél a közös nevezőt az adja, hogy mindegyik távoli szervereken fut, így a használatukhoz online internetkapcsolat szükséges. Ma viszont mutatunk néhány olyan megoldás, amelyekkel bárki számára elérhető a generatív AI használata offline, internetkapcsolat nélkül is.
Generatív AI használata offline, internetkapcsolat nélkül
Két irányból közelítjük meg a feladatot, egyrészt mutatunk egy olyan alkalmazást, amellyel Windowson, macOS-en és Linuxon egyaránt használhatunk a ChatGPT-hez és Microsoft Copilothoz hasonló MI-alapú csevegőt, másrészt a képgenerálás offline megoldásához is adunk néhány tippet. Utóbbiakat egyébként anno már bemutattuk önállóan, de így most egy helyen is elérhetők lesznek mindazoknak, akik internetkapcsolat nélkül használható megoldást keresnek.
Mielőtt belekezdünk, egyvalamit azért tisztázni kell: a GenAI modellek használatához meglehetősen sok erőforrásra van szükség, vagyis nem véletlen, hogy a hatékonyság és gyorsaság érdekében ezeket távoli, erős szervereken futtatják a legtöbb esetben. Ahhoz, hogy az otthoni számítógépen, vagy akár egy okoseszközön offline is működjenek, erős CPU/GPU/NPU és megfelelő mennyiségű RAM memória szükséges. Szóval régebbi vagy belépő szintű konfigurációkon nem igazán érdemes kísérletezni a dologgal, mert vagy el sem tudjuk indítani a folyamatokat, vagy irgalmatlanul lassú lesz minden.
GPT4All: offline MI-csevegő Windows, macOS és Linux rendszerekhez
Kezdjük akkor a MI-csevegőkkel. Ezek közül a legnépszerűbbek – az amúgy azonos GPT nagy nyelvi modellekre épülő – ChatGPT és Microsoft Copilot. Utóbbit Microsoft platformon eleve nehéz már elkerülni, hiszen a redmondi cég integrálta a Windowsba és az Office alkalmazásokba (Word, Excel, PowerPoint, Outlook, OneNote stb.) egyaránt. De még a Telegramban is elérhető már. Ám a használatukhoz szinte minden esetben online kapcsolat kell.
Nem így a nyílt forráskódú GPT4All nevű alkalmazás esetében. A Nomic által létrehozott megoldással többféle nagy nyelvi modellt (LLM) integrálhatunk egyetlen alkalmazásba. Ezeket azután – a gépünk teljesítményétől függő tempóban – élő internetkapcsolat nélkül is futtathatjuk a saját számítógépükön, egy kellemesen letisztult felületen. A GPT4All rendszerigénye a letöltött modelltől függően 8-16 GB RAM memória és egy erősebb CPU.
Valószínűleg hétköznapi használatra a GPT4All kevésbé szórakoztató és praktikus, mint mondjuk a ChatGPT, hiszen a mögöttes tudásbázis visszafogottabb – eleve nem tud rákeresni friss online információkra -, ellenben épp az a lényege, hogy tartalomkészítésre, kódírásra, dokumentumok megértéséhez, információgyűjtéshez elég jól használható (modelltől függően akár magyarul is), ráadásul saját dokumentumok feldolgozására is bátran használható, hiszen a gépünket sem a csevegések, sem az azokhoz esetlegesen felhasznált dokumentumok nem hagyják el. Afféle privát MI asszisztensként működik, hacsak mi nem döntünk úgy, hogy a csevegések tartalmát megosztjuk, hogy azt a modellek tanításához használhassák. Kutatásokhoz, kód- vagy szövegírási, fordítási segédletként nagyszerűen alkalmazható.
Mivel a GPT4All felületén elérhető modellek jelentős része GPL-2 licenc alá tartozik, így ezeket szabadon finomhangolhatjuk és integrálhatjuk, akár kereskedelmi felhasználásra is, licenc díj fizetése nélkül. A licencelés módja egyébként mindegyik modellnél fel van tűntetve, így már a letöltésük előtt tisztázhatjuk ezt a kérdést a modellválasztó felületen.
A letölthető modellek között olyanokat találunk, mint a Meta-féle Llama 3.1 vagy a GPT4All Falcon, de ez korántsem a teljes kínálat, rengeteg modell között válogathatunk, az alap lista átböngészésén túl érdemes használni a kereső funkciót is. Érdekesség, hogy az OpenAI-féle GPT-3.5 és GPT-4 modellek is elérhetők a felületről, de ezek használatához szükség van egy saját – előfizetős – OpenAI API kulcsra, ráadásul ezeket nem használhatjuk offline, hanem kommunikálnak az OpenAI szervereivel. Így a teljes képet nézve inkább csak extrák.
A GPT4All használata nagyon egyszerű. Miután a telepítettük és elindítottuk, a felület Models részében tölthetjük le a kívánt modelleket (az Llama 3.1 viszonylag korrekt módon kommunikál magyarul és akad még néhány ilyen, de a legtöbbet inkább angolul vagy német, francia stb. nyelven érdemes használni). A LocalDocs részben megadhatunk dokumentumokat (sima szöveg, markdown, PDF stb. formátumokban), amelyek további forrásként szolgálhatnak a csevegések során. A Settings részben pedig testreszabhatjuk a felület és a telepített modellek működését.
Társalogni az MI-vel a Chats felület megnyitásával tudunk. Minden csevegésnél kiválaszthatjuk, hogy mely LLM csomagot és hely dokumentumkészletet szeretnénk használni az adott diskurzus során.
Képgenerálás a számítógépen
Mivel az offline képgenerálásról már volt egy részletes összefoglalónk, itt most csak megemlítjük, hogy milyen alkalmazásokkal érdemes megismerkedni ez ügyben. Ha például valaki Macet használ, kicsit könnyebb dolga lesz ez ügyben, mert macOS-re több remek alkalmazás is elérhető erre a célra. Ezek közül a három legjobb ingyenes alkalmazás a Draw Things, a Diffusers és a DiffusionBee. Mindegyikről írtunk részletesen ebben a cikkben. Érdekesség, hogy alapvetően mindegyik a StableDiffusion (például SD, SD2, SDLX, SD3 stb.) modellekre épül, bár több egyéb modell és LORA is letölthető hozzájuk. Van viszont egy kiválóan sikerült fizetős – de egyszeri befektetést igénylő – alkalmazás is, a Sogni, amely rendkívül egyszerűen használható, mégis nagyon hatékony képgeneráló. Erről itt írtunk részletes tesztet.
Windows alatt e programok kiváltásának legjobb módja – szintén az ingyenességet szem előtt tartva – a Stable Diffusion web UI használata lehet, amely ugyan böngészőben fut, de offline is használható, ha telepítjük. Mondjuk a telepítése nem épp egyszerű, de azért nem is lehetetlen, korábbi cikkünkben ezt is részletesen megmutattuk, de az eszköz Github oldalán is minden részletesen le van írva ezzel kapcsolatban, minden támogatott operációs rendszerhez. Sőt, ha valaki jobban szereti a workflow-szerű, folyamatábrás felületeket, annak rendkívül jó választás lehet még a ComfyUI is, amelyen aprólékosan testreszabhatjuk bármely SDXL – vagy akár az új Flux.1 – modell paramétereit, hogy a lehető legjobb végeredményt kapjuk a képgenerálásnál.
Működik Windows, macOS és Linux alatt egyaránt, egyszerűen egy böngészőben megnyitva (természetesen offline, ha megfelelően telepítettük a gépünkre). Alternatívaként pedig jól jöhet a Fooocus alkalmazás, amely szintén egy nyílt forráskódú szoftver Windowsra és ugyancsak a Stable Diffusion modelleket használhatjuk benne képgenerálásra.
Hasonlóan az Adobe FireFly megoldásaihoz, nem csak raszteres képek hozhatók generálhatók a GenAI eszközökkel. Akadnak közöttük olyanok is, amelyek vektoros ábrák létrehozására is használhatók. A macOS alatt használható Logoist 5 vektrografikai szoftver például offline, közvetlenül az Apple Silicon alapú Mac gépeken tud vektoros illusztrációkat kreálni. Sőt, ha valakinek nincs szüksége a komplett grafikai szoftverre, ezt a funkciót külön is megvásárolhatja a fejlesztőktől VectorAI néven, önálló alkalmazásként.
