Aki folyamatosan velünk tart a legújabb tech újdonságok felfedezésében, bizonyára összefutott már AI rovatunkban az Ollama nevével. Ez a szoftver eredetileg arra szolgált, hogy offline futtathassunk vele különféle AI modelleket (Llama, Gemma, Qwen, Deepseek stb.) a számítógépen, Windows, macOS és Linux alatt egyaránt. A kezdetekkor ezt csak parancssorban tehettük meg, vagy API hívásokkal érhettük el mondjuk saját fejlesztésű alkalmazásokból a telepített modelleket. Aztán egy újabb nagy lépés volt, amikor az Ollama már kényelmes, saját chat felületet is biztosított ezekhez a modellekhez (ráadásul a telepítésüket is leegyszerűsítette így azok számára, akik ódzkodnak a parancssori megoldásoktól). Nemrég pedig debütáltak az Ollama felhő modellek, amelyek már nem offline futnak a gépünkön, hanem a ChatGPT-hez és társaihoz hasonlóan távoli szerveren dolgozzák fel az utasításainkat, ám a privát szféra szempontjából sokkal nagyobb biztonságot kínálnak, mint a népszer online MI-csevegők. Most megmutatjuk, miként használhatók az online AI modellek az Ollamában.
Ollama felhő modellek
Rögtön az elején tisztázzuk, milyen előnye és milyen hátránya van annak, ha offline, közvetlenül a gépünkre telepítve használunk GenAI modelleket. A legfőbb előny, hogy így az ég világon semmilyen kérdés sem hagyja el a gépünket. A generatív mesterséges intelligencia a számítógépünkön dolgozza fel azt, s ott is válaszolja meg. Minden teljesen privát. Ez egy cégnél, vagy esetleg olyan munkaköröknél, mint az ügyvéd vagy hasonló, privát adatokat feldolgozó tevékenységek, igencsak fontos szempont. A dolog hátulütője, hogy ehhez erősebb gépre (CPU/GPU) van szükségünk, minél több memóriával. Bár vannak kisebb offline modellek is, amelyek beüzemelhetők gyengébb konfigurációkon is, de ezek sajnos jelentősen “butábbak” nagyméretű társaiknál. Általában a 24 GB memóriát igénylő darabok már megfelelően használhatók számtalan területen, de azért ma még a 24 GB RAM nem túl széles körben elterjedt PC-n vagy Macen. Márpedig sok olyan feladat van, amelyek hibátlan és hatékony elvégzéséhez még ezeknél is nagyobb modellekre van szükség.
Ezt a nagy gépigényt küszöbölhetjük immár ki az Ollama felhő modelljeivel. Ezek amúgy ugyanazok, amelyeket eddig is ingyen használhattunk offline, de itt már nem szab szűk keresztmetszetet a saját hardver teljesítmény, mert ezek a változatok a felhőben futnak, gyors, adatközponti szintű hardveren.
Ám a legjobb az egészben az, hogy ezeket az Ollama Cloud modelleket pontosan olyan egyszerűen használhatjuk, mintha a gépünkre lennének telepítve. Ugyanúgy elérjük őket a parancssorban vagy az Ollama alkalmazás saját csevegő felületén, s arra is van lehetőség, hogy API-n keresztül használjuk őket mondjuk egy saját fejlesztésű alkalmazásban, gyakorlatilag pontosan ugyanazon a módon, mintha offline telepítettük volna őket az Ollamával. Ez azt is jelenti egyben, hogy ha már van egy ilyen szoftverünk, akkor szinte nulla fejlesztéssel is átválthatunk benne a felhős modellek használatára, csak a nevüket kell megváltoztatni a korábban használ offline változatról (például gpt-oss:20b helyett gpt-oss:20b-cloud). Teszteltük, remekül működik, s persze sokkal gyorsabb, mint az offline változat. Arról nem beszélve, hogy a gpt-oss:120b használata offline a mi tesztrendszerünkön lehetetlen lenne, míg a gpt-oss:120b-cloud gond nélkül működik, hiszen nem igényel extra erőforrásokat a géptől.
Az Ollama felhőalapú szolgáltatása nem tárolja az adataidat az adatvédelem és biztonság érdekében, így sokkal praktikusabb lehet kkv-k vagy akár nagyobb cégek esetében is, mint a Gemini vagy a ChatGPT használata. Persze tudását leginkább akkor használhatjuk ki, ha ráépítünk saját alkalmazásokat, de a beépített csevegővel is elég hatékony.
Így használhatók az online AI modellek
Mint már írtuk, az Ollama Cloud modelljei hasonlóan egyszerűen használhatók, mint az offline változatok. Telepítésükhöz minimum az Ollama 0.12-es verziója szükséges, majd annyit kell tennünk, hogy parancssorban letöltjük a kívánt modellt (pontosabban annak hivatkozását, hiszen a teljes modell a felhőben marad), például az ollama run qwen3-coder:480b-cloud utasítással. Ezzel például Terminalban azonnal használhatjuk is azt. Jelenleg az alábbi modellek érhetők el: qwen3-coder:480b-cloud, gpt-oss:120b-cloud, gpt-oss:20b-cloud, deepseek-v3.1:671b-cloud.
A felhőalapú modellek ugyanúgy viselkednek, mint a hagyományos modellek. Például listázhatjuk ezeket is (ls), futtathatjuk stb. igény szerint. A grafikus Ollama felületen pedig ugyanúgy a listából kell kiválasztani őket, csak épp nem kell bevárnunk a letöltésüket (kis felhő ikon is jelzi amúgy, melyek az Ollama Cloud modellek).
Sajnos az Ollama Cloud nem ingyenes, várhatóan 20 USD áron lehet majd rá előfizetni, de hogy abban mi lesz még benne esetleg a felhő-alapú modellek használatán túl, egyelőre nem tudjuk (amint megtudjuk, frissítjük cikkünket). E cikk megjelenésekor viszont az Ollama Cloud modellek ingyen tesztelhetők, s azt kell mondjuk, nagyon megéri megismerkedni velük, mert igencsak jól használhatók önmagukban is, ráadásul nagyon könnyen integrálhatók saját alkalmazások fejlesztésekor is.
