Nem is olyan régen mutattunk egy remek módszert arra, hogy lehet az Ollama és a Docker segítségével viszonylag egyszerűen beüzemelni a generatív mesterséges intelligenciát egy kis csevegésre a saját számítógépen. Így a különféle méretű nyelvi modellekkel anélkül dolgozhatunk, hogy ehhez élő internetes kapcsolatra lenne szükségünk. A kérdések nem hagyják el a gépünket, ahogy a feldolgozandó dokumentumok sem, a válaszok pedig a gépünkön generálódnak, a hardver erejétől függő tempóban. Bár az Ollama, a Docker és az Open WebUI telepítése nem mondható végtelenül nehéznek – ráadásul ez cross-platform megoldás -, de aki nem szeretne a parancssorban matatni és virtuális környezetekkel bajlódni, annak ma mutatunk egy sokkal egyszerűbben beüzemelhető eszközt, amelyben a modellek menedzselése is egyszerűbb. Az LM Studio pár kattintással telepíthető Windowsra, macOS-re vagy Linuxra, így szinte pillanatok alatt rendelkezésünkre áll egy ingyenes, ChatGPT-szerű AI csevegő a saját gépünkön.
Offline AI-csevegők a saját számítógépünkön Windows, macOS és Linux alatt
Az OpenAI-féle ChatGPT villámgyorsan meghódította a felhasználókat, s azóta számtalan egyéb szoftver és szolgáltatás épül már a cég API-jára és a különféle GPT modellekre. Ám ezeket offline jelenleg nem lehet használni, működésükhöz az adott alkalmazásnak el kell érnie a távoli szervert, ahogy a tényleges adatfeldolgozás történik. Ez abból a szempontból nagy előny, hogy így a meglehetősen számításigényes generatív mesterséges intelligencia a távoli szervert terheli, nem a gépünket, így a válaszok villámgyorsan megszületnek (kivéve az OpenAI o1 esetében, amelyet eleve úgy terveztek, hogy több időt töltsön gondolkodással, mielőtt válaszolna). Hátrány viszont, hogy így az adatok elhagyják a gépünket, ez vonatkozik azokra a dokumentumokra is, amelyeket esetleg feldolgoztatunk az MI-vel. Ráadásul a ChatGPT és társai csak részben ingyenesek, szinte minden ilyen megoldás korlátozott mennyiségű választ ad csak. Akadnak azonban nyílt forráskódú és ingyenes modellek is, amelyeket egy erősebb számítógépen (értsd erős CPU és GPU, esetleg NPU, és lehetőleg 16 GB vagy még több RAM) otthon is beüzemelhetünk, s ezek teljesen offline, a saját gépünkön futnak. Csak a megfelelő alkalmazást kell kiválasztani mindehhez.
LM Studio: ChatGPT-szerű AI csevegő a saját gépünkön, ingyen, pár kattintással
Az egyik ilyen megoldás a bevezetőben említett Ollama és Docker beüzemelése a gépen, ám ez nem biztos, hogy a teljesen kezdőknek is könnyedén megy. De sebaj, akadnak sokkal egyszerűbb, mégis ugyanolyan jól használható megoldások. Az egyik ezek közül az LM Studio, amelyet gyakorlatilag pont olyan egyszerű telepíteni Windowsra, macOS-re vagy Linuxra, mint bármely szimpla csevegő alkalmazást (Telegram, Signal stb.), csak annyi a különbség, hogy itt nem másokkal, hanem a generatív mesterséges intelligenciával cseveghetünk utána, nagyjából a fentebb említett csevegők (vagy épp a ChatGPT) felületével egyező környezetben.
Még egy dologra azért szükségünk lesz, mielőtt nekilátunk a beszélgetésnek: le kell töltenünk egy – vagy több – nyelvi modellt. Ezeket ugyebár a Hugging Face oldal gyűjti alapesetben, de szerencsére nekünk nem kell elhagyni az LM Studio ablakát, ugyanis ott, Discover gombra kattintva tudunk keresgélni a teljes Hugging Face kínálatban és egyetlen kattintással letölteni a számunkra szimpatikus modellt. Mindegyikről kapunk némi leírást, illetve azt is láthatjuk, mennyi helyet foglalnak, s mennyi memória kell a működésükhöz. A program előzékenyen jelzi azt is, ha az adott számítógép erőforrásait elégtelennek ítéli a kérdéses modell működéséhez. Érdemes rá hallgatni, mert hiába töltünk le egy csudanagy változatot, ha a gépünkben csak 8-16 GB memória áll a rendelkezésre, akkor rosszabb esetben be sem töltődik majd, jobb esetben pedig csak irgalmatlan lassú lesz a válaszadás. Szóval a többségnek a 4-8 GB-os modellekkel érdemes kezdeni. Ezekből is van szép számmal. A legjobb választás kezdésnek az Llama 3.1 vagy a Gemma2, előbbi a Meta, utóbbi a Google műhelyéből kerül ki (aztán persze vannak belőlük továbbképzett változatok más felhasználóktól és cégektől).
De találunk kifejezetten programozáshoz idomított (DeepSeek Coder), vagy épp magyar nyelvű témákban (például irodalom) jártasabb darabokat is (SambaLingo). Utóbbi felüdülés, ha például valamelyik magyar íróról kérdezzük, mert az Llama és a Gemma jegeces baromságokat képes válaszolni ilyen témák kapcsán. Cserébe viszont sok egyéb témában segíthetnek magyarul is, illetve programkódokat is kérhetünk tőlük több programozási nyelvhez. De letölthetjük az eredeti LLaVA látásalapú modellt is (több ilyen is van), amely támogatja a képbevitelt és a képek tartalmának elemzését, illetve használhatók a népszerű Qwen, Mistral, Phi stb. modellek és azok leszármazottai is.
Az LM Studio a legutóbbi frissítése óta képes feldolgozni dokumentumokat is (PDF, DOCX, TXT, CSV), így azok tartalmáról is elcseveghetünk az AI-val, elemzést, összefoglalót, fordítást stb. kérve.
A Chat felület használata alapvetően adja magát, megszólalásig olyan, mint amit a ChatGPT vagy a Copilot esetében már bárki megszokhatott. Nyithatunk több csevegést is, és mindegyiknél külön tudunk megadni háttér-instrukciókat, hogy az adott chatben miként viselkedjen az MI (legyen tudományos, esetleg haveri a stílus, mit ne írjon, hogyan ne válaszoljon, mit kell beleszőnie mindig a válaszokba stb.). A csevegéseket mappákba rendezhetjük, így remekül lehet menedzselni, ha olykor visszatérnénk egy már megkezdett chathez. Emellett duplikálhatjuk is a már meglévőket, így azok könnyen átalakíthatók, az eredeti megtartása mellett. Ami nem kell, törölhetjük.
A kérdések és válaszok egyaránt szerkeszthetők utólag a csevegő felületén, illetve Vágólapra is másolhatjuk azokat markdown formátumban. Végezetül pedig van fejlesztői üzemmód is.
Összegzésül
Bár a korábban bemutatott Ollama + Docker + Open WebUI hármas valamivel egyelőre sokoldalúbban használható (az Open WebUI felületén elérhető Workspace funkciót például nagyon kedveljük, hiszen ezzel egyedi viselkedésű chat-sablonokat is könnyedén hozhatunk létre, de figyelembe kell venni, hogy az LM Studio még erősen kezdeti szakaszba van. Ahhoz képest viszont már most is letisztult, gyors és sokoldalú. Ráadásul jelenleg ingyen áll bárki rendelkezésére, aki szeretné a saját gépén kipróbálni ezeket a nyelvi modelleket, offline.
