Ha a generatív mesterséges intelligenciáról, s azon belül az MI-alapú csevegőkről esik szó, a többség az online, böngészőben, vagy alkalmazásokba beépítve használható ChatGPT és Microsoft Copilot chatbotokra gondol. Emellett szintén jobban a köztudatban forog a Google Gemini, de aztán ezeken felül másról nem nagyon esik szó. Ha valaki folyamatosan olvas minket, AI rovatunkban azért találkozhatott már egyéb MI csevegőbotokkal, s bár kétségtelen, hogy a fentebb említett három jelenleg a legjobb – pláne ha fontos, hogy magyarul is tudjunk velük diskurálni -, de azért akadnak egyéb jól használható alternatívák is. Arról nem beszélve, hogy míg a fenti három csak online, vagyis élő internetkapcsolat mellett használható – lévén mindegyik távoli szervereken fut -, addig van néhány, amelyeket akár közvetlenül a számítógépünkön, offline is használhatunk. Most megmutatjuk, hogyan használhatók ezek az offline AI-csevegők, így például miként oldható meg a magyarul – nem hibátlanul, de azért jól – tudó Llama 3.1 és 3.2, illetve a Gemma2 modellek használata offline a számítógépen, Windows, macOS vagy Linux rendszerek esetében egyaránt. Mindez ráadásul teljesen ingyen.
Offline AI-csevegők: Llama 3.2 és Gemma2 modellek használata offline (Windows, macOS, Linux)
Bár a bevezetőben említett megoldások szinte mindegyike beépíthető saját alkalmazásba (ha fejlesztéssel foglalkozunk) egy úgynevezett API felületen keresztül, de működésükhöz ebben az esetben is online kapcsolat szükséges. Van azonban egy módszer, amivel offline AI-csevegőket állíthatunk üzembe a számítógépünkön, Windows, macOS és Linux alatt egyaránt.
A módszer alapját a Ollama nevű, nyílt forráskódú – és ingyenes – alkalmazás adja, amely lehetővé teszi a különféle nagy nyelvi modellek futtatását. Bár ezzek alapvetően nem lenne teljes a kényelem, de nyugalom, a cikk végére úgy használhatjuk majd ezeket, ahogy azt a ChatGPT vagy a Google Gemini esetében megszoktuk. Ám az első lépés akkor is az, hogy letöltjük, majd telepítjük a gépünkre az Ollama alkalmazást.
Ha ezzel megvagyunk, indítsuk el. Ezzel egy háttérben futó szolgáltatás kapunk, amelyet egyelőre a Parancssorban / Terminalban tudunk menedszelni. Ehhez nyissuk meg a Paranccsort vagy Terminalt, írjuk be az ollama utasítást, majd nyomjuk le az Enter gombot. Nagy esemény nem történik, de ha sikeres volt a telepítés és fut az Ollama a háttérben, akkor egy gyors összefoglalót kapunk a parancssoros használathoz rendelkezésre álló utasításokról. Ezt érdemes memorizálni, hogy később kényelmes legyen a használata.
Hátra van azonban még egy dolog: a használni kívánt nagy nyelvi modellek telepítése. Szerencsére ez egyszerű az Ollama esetében: a weboldaluk Models menüpontjában végignézhetjük a kínálatot. Ezek közül mi kezdésnek az llama3.1 vagy a gemma2 használatát javasoljuk. Előbbi a Meta, utóbbi a Google terméke, mindkettő használható magyarul is. Telepítésükhöz annyi a teendőnk, hogy a parancssorban beírjuk a ollama run llama3.1 és/vagy ollama run gemma2 utasításokat, majd megvárjuk, amíg az Ollama letölti azokat a gépünkre. Ilyenkor az alapértelmezett változatot kapjuk, amelyik nem minden esetben a legnagyobb modell, de ha másikra vágyunk, a weboldalon kiválaszthatjuk mondjuk a gemma2 27b változatot is. Csak ez az alapértelmezett 9b változat 5 GB-os mérete helyett 16 GB-ot emészt fel a gépünkön. Van egyébként kisebb változat is, a 2b, az még a 2 GB-os méretet sem éri el (ez például az ollama run gemma2:2b utasítással telepíthető). Nem csak a helyfoglalás, hanem a RAM miatt is érdekes, melyiket töltjük le, hiszen ezek a modellek használatuk során a memóriába kerülnek, szóval nem érdemes 8 GB RAM birtokában a 16 GB-os modellekben gondolkozni. Mellesleg van 200 GB-os AI is, szóval ezekre is érdemes odafigyelni, amikor választunk.
Ha leérkezett a modell, az Ollama azonnal el is indítja, így a Paranccsorban elkezdhetjük a csevegést. Ez kevésbé kényelmes, mint a webes felülettel ellátott AI chatbotok, de használható. Ha kilépnénk, a /bye utasítással tehetjük meg. A /clear utasítással törölhetjük a teljes csevegést, illetve a /? segítségével megismerkedhetünk az összes használható utasítással.
Amit még fontos tudni ezzel kapcsolatban, az, hogy miként indíthatjuk el később a telepített AI csevegőket. Nos, az ollama list utasítással bármikor lekérhetjük a telepített nagy nyelvi modellek listáját, az ollama run név segítségével pedig elindíthatjuk közülük azt, amelyiket szeretnénk. Előtte a lista inkább csak azért fontos, hogy lássuk a pontos megnevezést, hiszen ha nem az alapértelmezett változatot töltöttük le, akkor a név általában még további infót is tartalmaz az azonosításhoz, például: ollama run llama3.1.
Természetesen a chatbotok működési sebessége erősen függ a gépünktől, erős processzor és lehetőleg sok RAM memória szükséges ahhoz, hogy gördülékeny legyen az offline kommunikáció (nem véletlenül fut a legtöbb ilyen szolgáltatás távoli, bivalyerős szervereken). Fontos, hogy ha végeztünk, nem elég kilépni a Parancssorban vagy a Terminalban a /bye utasítással. Az Ollama háttérfolyamatát a Windowsban a Tálcán, macOS alatt a menüsorban tudjuk teljesen leállítani a kis ikonra, majd a Quit Ollama menüpontra kattintva. Még egy fontos dolog: ha szabadulni akarunk egy telepített modelltől, az Ollama dokumentációjában megtaláljuk, hogy tárolja azokat a program az adott rendszeren. Ez cikkünk írásakor macOS alatt a ~/.ollama/models, Linuxon az /usr/share/ollama/.ollama/models, míg Windowson a C:Users%username%.ollamamodels mappa.
Ha nem bírjuk a parancssort: Open WebUI és Docker, avagy AI chat használata saját gépen, de böngészőben
Ha valakit kiráz a hideg attól a gondolattól, hogy a Parancssorban vagy a Terminálban csevegjen, annak jó hír, hogy az Ollama beépíthető az Open WebUI felületbe is. Ezzel bármely böngészőben futtathatóvá válik, megszólalásig olyan felületen, mint amit a ChatGPT, Copilot vagy Google Gemini esetében megszokhattunk. Még a fájlok feltöltése és elemzése is kényelmesen megoldható lesz.
Az Open WebUI-t két módon üzemelhetjük be. Az egyik, hogy manuálisan telepítjük Python-t, majd a pip segítségével a szükséges környezetet (pip install open-webui), ami nem lehetetlen, de ha valaki nem szokott hozzá a dologhoz, sok buktatóba futhat bele. Ha elkészültünk vele, az open-webui serve utasítással elindítható a háttérben futó szerver, mi pedig a http://localhost:8080 címen könnyedén megnyithatjuk a futó webes csevegőnket, amelyben kényelmesen választhatunk a telepített modellek közül.
A másik, egyszerűbb megoldás, ha – miután a gépre tettük az Ollamát és letöltöttünk benne legalább egy nyelvi modellt – telepítjük az ingyen (is) használható Docker alkalmazást, majd az Open WebUI Github oldalán található Docker utasítással létrehozunk egy virtuális környezetet. Ez amúgy így néz ki:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainÍgy később teljesen elhagyható lesz a parancssor használata: csak elindítjuk az Ollama alkalmazást, aztán a Dockert, s végül ez utóbbiban futtatjuk a virtuális környezetet egy kattintással, majd egy újabb klikkeléssel megnyitjuk a böngészőben a WebUI felületünket, benne a telepített nagy nyelvi modellekkel.
Ha mindezzel megvagyunk, már ugyanúgy használhatjuk a telepített modelleket, ahogy a ChatGPT-ben vagy a Copilotban szoktuk. Van lehetőség fájlok elemzésére is, de kérhetünk szövegírási tippeket, ételrecepteket, vagy akár programozási kódokat is. Sajnos képet generálni ezek a modellek nem tudnak, csak szöveges csevegésre használhatók, de képek létrehozásához mutattunk már több egyéb eszközt, online és offline kivitelben egyaránt.
Egyszerűbb megoldás: GPT4All
Ha valaki esetleg bonyolultnak érzi a Parancssorban / Terminálban történő telepítéseket és használatot, alternatívaként tudjuk javasolni a GPT4All használatát is, amelyben a fent is említett nagy nyelvi modellek még egyszerűbben érhetők el, szintén minden asztali rendszerre. Ebben az esetben nem a böngészőben, hanem a GPT4All saját felületén tudjuk használni azokat a nagy nyelvi modelleket, amelyeket telepítünk (szintén egy kattintással, a program felületén belül).
