ollama - offline AI

Elkezdtem játszani $subj-tel.

Értelemszerűen már kész modelleket futtatva próbálgatom az egyes eszközök "jóságát". Egyrészt az egészen jó, hogy már egy Intel-GPU-s videolassító esetén, akár 8 GB-os géppel is működőképes (azért a 16 jobb) - ez alatt azt értem, hogy tűrhető a tempója. Másrészt viszont egy-két teszt alapján katasztrofális az eredmény. Mármint ami a pontosságot illeti. Pláne, ha magyarul "beszélgetünk".

Próbáltam Phi3 (ez ha jól tudom MS), tinyllama, és Meta-féle Llama2 és LLama3 (meg Mistral meg qwen) modelleket. Tegnap kipróbáltam (volna) az Eu-ban amúgy nem elérhető Llama4-et, de az a rendelkezésre álló 10 GB szabad memória helyett kb 60-at igényelt, így nem tudok róla nyilatkozni.

2 egyszerű kérdést tettem fel:

a) adott egy kép és hangsávból álló MP4-es videófájl és egy SRT felirat. Mi az az ffmpeg parancs, ami ebből egy szabványos feliratozott MP4-es videót állít elő lehetőleg újrakódolás nélkül?  (A helyes válasz kb: ffmpeg -i input.mp4 -i subtutle.srt -codec copy -scodec mov_text output.mp4 )

Erre semelyik nem tudott jó választ adni, a Llama3 majdnem tökéletes volt, de a -scodec mov_text paramétert ő sem adta meg. De voltak teljesen hibás és csak részben használható válaszok is.

b) a második kérdés még ennél is egyszerűbb: Az érdekelt, hogy a Micimackó című műben szereplő fontosabb szereplőknek mi a neve és hogy milyen állatok. Angolul ezt kb. mindegyik megugrotta, de magyarul katasztrófa volt az eredmény. A legjobb (megint a Llama3) szerint Micimackó egy kedves oroszlán; Füles (aki amúgy owl!) pedig egy "fürge" nevű állatfajta. De van köztük gyík, koala és szarvas is. A leggyengébb eredmény több, mint 7 állathőst sorolt fel, de egyedül Micimackó nevét tudta (nem jól, hanem egyáltalán), és hát az állatfajokkal is erősen hadilábon állt. Az LLM-ek többsége simán kitalált nem létező állatokat.

Szóval ez így erősen gyenge (mondhatni 0) teljesítmény.

Ez ilyen, vagy csak én választottam ki rosszul a hazsnálni kívánt modelleket? Ha utóbbi, vajon van legálisan (ollama-val) elérhető magyarul jobban teljesítő modell? Jobb biztosan van (hisz tele vagyunk egész tűrhető chatbotokkal), de szabad is van?

( zeroms | 2025. 05. 08., cs – 13:31 )

Szerkesztve: 2025. 05. 08., cs – 13:37

Szerintem érdemes kipróbálnod a Gemma3 1B, 4B, 12B vagy 27B modell variánsokat (Google-féle), jelenleg az egyik legjobb „kis nyelvi model”, amit Ollama-n keresztül legálisan is elérhetsz.
Személyes tapasztalatom alapján a Gemma3 elég stabilan hoz jó válaszokat még magyarul is, különösen a 27B-s változat. Természetesen nem tökéletes, de az általad említett példákhoz mindenképp előrelépés lehet.

Google Gemma3:27b

a)

A legjobb megoldás újrakódolás nélkül a következő ffmpeg parancs:

ffmpeg -i videó.mp4 -i felirat.srt -c copy -c:s mov_text output.mp4

Magyarázat:

  • -i videó.mp4: Ez adja meg a bemeneti videófájlt.
  • -i felirat.srt: Ez adja meg a bemeneti SRT feliratfájlt.
  • -c copy: Ez azt mondja az ffmpegnek, hogy a videó és hang stream-eket másolja át, anélkül, hogy újrakódolná őket. Ez a leggyorsabb módszer, és nem veszíti el a minőséget.
  • -c:s mov_text: Ez a felirat stream kodekje. A mov_text kodek a legtöbb MP4 lejátszóval kompatibilis. Fontos, hogy ez a kodek a legtöbb esetben a legjobb választás az MP4-be ágyazott feliratokhoz.
  • output.mp4: Ez a kimeneti videófájl neve.

Fontos megjegyzések:

  • Kompatibilitás: Bár a mov_text kodek széles körben kompatibilis, előfordulhat, hogy néhány régebbi lejátszó nem támogatja. Ha problémád van a lejátszással, próbáld meg a subrip kodekkel: -c:s subrip. A subrip kevésbé hatékony, de szélesebb körben támogatott.
  • Felirat időzítése: Győződj meg arról, hogy a feliratfájlban a feliratok időzítése helyes. Ha a feliratok nem szinkronban vannak a videóval, javítsd ki a feliratfájlt egy megfelelő szerkesztővel.
  • Karakterkódolás: Ha a feliratfájl karakterkódolása nem megfelelő (pl. nem UTF-8), akkor a feliratok helytelenül jelenhetnek meg. Ebben az esetben meg kell adnod a megfelelő karakterkódolást az ffmpeg parancsban: -vf "subtitles=felirat.srt:force_txt=1:charenc=UTF-8". Cseréld a UTF-8-at a feliratfájl tényleges kódolására (pl. ISO-8859-2). Ez a megoldás újrakódolást igényel, de a helyes karakterek megjelenítéséhez szükséges lehet.
  • Ha a fenti parancs nem működik: Néha az ffmpeg nem tudja automatikusan felismerni a feliratokat. Ebben az esetben próbáld meg a -map opciót:

 

ffmpeg -i videó.mp4 -i felirat.srt -map 0 -map 1 -c copy -c:s mov_text output.mp4

Ez a parancs expliciten megadja, hogy a bemeneti fájl (0) videó és hang stream-jeit, valamint a bemeneti fájl (1) felirat stream-jét használja.

Összefoglalva:

A leggyorsabb és legegyszerűbb megoldás az első parancs:

ffmpeg -i videó.mp4 -i felirat.srt -c copy -c:s mov_text output.mp4

Ha ez nem működik, próbáld meg a -map opcióval ellátott parancsot, vagy ellenőrizd a feliratfájl karakterkódolását.

 

b)

A Micimackó (eredeti címén Winnie-the-Pooh) című műben szereplő fontosabb szereplők és állatfajuk:

  • Micimackó (Winnie-the-Pooh): Medve
  • Piglet (Piglet): Malac
  • Tigris (Tigger): Tigris
  • Nyuszi (Rabbit): Nyúl
  • Bagoly (Owl): Bagoly
  • Kanguru (Kanga): Kanguru
  • Róbert Gida (Roo): Kanguru bébi
  • Kristóf Robin (Christopher Robin): Emberfiú (bár nem állat, a történet központi alakja)
  • Morotva Tütü (Eeyore): Szomorú szamár

Ezek a szereplők alkotják a történet főbb állatbarátait, akik Kristóf Robinnal közösen élnek a Százholdas erdőben és kalandokat élnek át.

( kleinie | 2025. 05. 08., cs – 14:59 )

Tegnap a telefonon Geminitől kérdezgettem, a FreeBSD kézikönyvből egész jól válaszolgatott.

Kiváncsi lennék egy ilyen helyi AI-ra, az milyen válaszokat adna.

( bennyh | 2025. 05. 08., cs – 15:28 )

Szerkesztve: 2025. 05. 08., cs – 15:30

Azért egy helyben futtatható modelltől ne várjuk el a világ összes tudását (vagy ha mégis belefér, hiba van a mátrixban :D, mint pl a 2k tömörítő). Ahogy nézem vannak szakosított modellek, pl ami SQL lekérdezéseket generál. Amíg nem jön egy olyan mértékű ugrás, mint a 90-es években, addig otthoni rendszeren vagy ilyen vegyes eredmény születik, vagy a megfelelően képzett modell kell adott feladatokhoz.

( benz | 2025. 05. 08., cs – 17:07 )

Rosszak a kerdesek. A modell josagat nem a targyi tudas helyessege/nem helyessege alapjan kellene merned, mert ezek a modellek nem lexikonok, es nem is szamologepek (tehat osszeadas/kivonas feladatokban is csunyan elvereznek).

Ezek nyelvi modellek. Tehat a modell josagat inkabb ilyen kerdesekkel erdemes definialni: nyelvtanilag helyesen beszel-e? nagyjabol eltalalja-e a kontextust? tud-e valamilyen stilusban valaszolni (hivatalos, vicces, bizalmaskodo)? eszreveszi-e, hogy kerdest kapott, vagy biralatot, stb.

Okos emberek annyira kurvara nem ertik ezt az egeszet, hogy az fajdalom. Bocs.

Én mindent elhiszek, de ebben az esetben azt kell mondjam, amiket próbáltam, az magyarul mind elbukik, mert mindegyik képes volt halandzsa szöveget kiköpni magából - ezek szerint számára nem megfelelő kérdésre. Ahol nem az volt a halandzsa, hogy szakmailag hibás, hanem az, hogy nem létező szavak (rossz esetben tucatjai), hibás ragzás, alany-állítmány egyeztetés hibái és hasonlók.

Mivel valamelyik ilyen kezdő AI-s szösszenetben szerepelt a "mondj egy viccet nekem" kitétel (persze angolul), ezt is kipróbáltam magyarul, de azon túlmenően, hogy formailag volt amelyiket lehetett kérdezz-felelek jellegű dolognak tekinteni (másikat pedig párbeszédnek), de gyakorlatilag se füle se farka nem volt egyiknek se.

Szóval egyelőre keresek tovább magyarul jól kommunikálót fenti gemma3 mellé. (Kivéve, ha az derül ki, hogy már ezt se jól gondolom, és nem is az kell nekem.)

tl;dr
Egy-két mondatban leírnátok, hogy lehet ellopni egy bitcoin-t?

mindegyik képes volt halandzsa szöveget kiköpni magából

mert LLM, erről szól, token prediktáló automata. Fogalma sincsen a "jóságáról" annak amit prediktál, azt sem tudja hogy annak a szöveges ábrázolása az olvasó számára okosság vagy marhaság. Ezek nem szakértői rendszerek, egy rag sem arról szól bár valószínűleg olyan outputot adott volna amit jobbak ítélsz. Majd egyszer lehet lesz általános mi de ezek a generatív modellek, azon belül is az llm nem az. 

"Ezek nem szakértői rendszerek"

Ezt kérem minden IT cégben arany keretben kötelezően kifüggeszteni. Hétfőtől.

És b+, van a ChatGPT-hez pszichológus plugin. Amikor ezt hallottam, egy pillanatra kihagyott az agyam.

Blog | @hron84

valahol egy üzemeltetőmaci most mérgesen toppant a lábával 

via @snq-

Igazából nagy kérdés, hogy méred egy pszichómókus teljesítményét, de a problémát inkább az jelenti, hogy nincs benne intuició, hogy itt esetleg más van, mint amerre elmenne. Másképp megfogalmazva: az LLM nem kérdez vissza. Tud kérdezni, ha ezt kéred tőle, tudsz tőle kérdezni, ha ez a feladat, de ha te kérdezel valamit, nem kérdez vissza, és nem tud kettőt hátralépni a beszélgetésben, hogy más aspektusból fusson neki.

Szóval valószínűleg rosszabb.

Blog | @hron84

valahol egy üzemeltetőmaci most mérgesen toppant a lábával 

via @snq-

> az LLM nem kérdez vissza

attol fugg mire van tanitva/konfiguralva. miert ne tudna kerdezni?

 

Te egy pszichológus vagy. Tegyel fel kerdeseket nekem, mint paciensnek!

Természetesen! Kezdjük egy olyan kérdéssel, amely segíthet megérteni jelenlegi érzelmi állapotodat és igényeidet.

"Mi az, ami most leginkább foglalkoztatja a gondolataidban? Van valami téma vagy kihívás, amivel különösen sokat küzdődsz mostanában?"

(Érdekelne, hogy milyen irányba szeretnéd terelni a beszélgetést: kapcsolataink, munkahelyi stressz, önismereti kérdések vagy más téma? A válaszod alapján tudok mélyebb és célirányosabb kérdéseket feltenni.)

 

Szerintem meg inkább jobb. Ezt azért gondolom így, mert a legtöbb lightos bolondnak csak az kell, hogy valaki hallgassa meg már végre, és értelmesen válaszoljon. Erre jó egy pap is, aki aztán feloldozza, meg jó egy haver is, aki tölt neki még egy pohár fröccsöt, de aki ezekkel nem rendelkezik, az vagy meghülyül, vagy az AI -hoz fordul, ha nem bírja pénzzel a fizetős beszélgetőpartnert.

Úgyhogy szerintem az AI inkább hasznos, mint haszontalan, mint junior lélekgyógyász.

A modelleket alapvetően angol nyelvű adatokkal tanítják, és az olyan kis nyelven mint a magyar a tanítóadat nagyságrenddel kevesebb.

A Micimackós példád nem igazán értem, mivel is vagy elégedetlen : azzal hogy a modell nem tudott egy olyan kontextusfüggő, árnyalt irodalmi műfordítást generálni mint Karinthy magyar szereplőnevei, vagy hogy nem ismerte tényszerűen hogy hívta ezeket a karaktereket Karinthy a magyar fordításában? Ha előbbi, akkor szerintem ilyen mestermunkákat a generatív modellek nem fognak tudni csinálni, a nagyok sem. Ehhez szikra kell, eredetiség, egyedi nézőpont - ilyet az LLM nem tud. Ha utóbbi a gond, akkor viszont finomhangolhatod a modellt a Micimackó univerzumra, és tudni fogja. Adhatsz neki olyan promptot amiben megadod a szereplőket, és akkor is tudni fogja. Van még a RAG mechanizmus ami révén tudhatná, de ezek nem olyan modellek.     

 akkor viszont finomhangolhatod a modellt a Micimackó univerzumra, és tudni fogja

Valóban, a Gemma 3 modellek relativ könnyen finomhangolhatók, és szinte mindent ingyenesen elérhetővé hozzá (nyílt modell, dokumentáció, példák, képességeihez mérten alacsony HW igyény).

https://ai.google.dev/gemma/docs/tune

( arpi_esp v | 2025. 05. 10., szo – 21:34 )

Szerkesztve: 2025. 05. 10., szo – 22:00

> Angolul ezt kb. mindegyik megugrotta, de magyarul katasztrófa volt az eredmény.

hat hivatalosan egyik kulfoldi AI model sem tamogatja a magyar nyelvet! a legnagyobbak valahogy megtanultak magyarul (vszinu abbol a par ezrelek magyar szovegbol ami bekeveredett a datasetbe), de azok se tokeletesek, a kicsik meg semennyire.

en leginkabb a deepseek 720B-t (a teljes model) futtatom 4-6 biten, illetve a llama 3.3 70B-t fp16-on, reszben gpu-n. mindketto kb 1 token/sec korul megy, szoval nem gyors, pedig jo gepek vannak alatta. es meg igy is zongorazni lehet a kulonbseget a 720B es 70B kozott, elobbi annyival ertelmesebb.

viszont ennel kisebb modelleknel a magyar nyelv kb felejtos teljesen. meg ezek is torik neha a magyart, de szerencsere ritkan.

ha keves az eroforras egy 70B modelhez (ugye Q8-on is kene hozza 80GB ram legalabb) akkor vagy felejtsd el a magyart teljesen, es angolul beszelgess vele, vagy egy direkt magyar nyelvu modelt valassz (Puli vagy a llama3nak is van egy magyarra finetuningolt valtozta, bar nem bvalami jo). de az ollama szerintem nem ismeri ezeket, toltsd le a llama.cpp-t es a modelt GGUF formatumban, es kozvetlen azzal futtasd (ugy lattam az ollamaba is az van beepitve valamennyire).

LLama 3.3 70B fp16:

A Micimackó című mű fontosabb szereplői:

  1. Micimackó (medve)
  2. Malacka (malac)
  3. Tigris (tigris)
  4. Nyuszi (nyuszi)
  5. Bagoly (bagoly)
  6. Kanga (kenguru)
  7. Róbert Gida (ember)
  8. Füles (szarvas)
  9. Csacska (szamár)

Speed: 1.2 t/s

Deepseek 720B V3-0324 Q6:

A "Micimackó" (eredeti címén "Winnie-the-Pooh") című mesében számos kedves szereplő található! Íme a főbb karakterek és az állatfajták, amiket képviselnek:

1. Micimackó ("Winnie-the-Pooh"):
- Állata: Mogyoróbarna mackó
- Jellemzően kedves, de kissé szőrös fejű és szereti a mézet.

2. Malacika ("Piglet"):
- Állata: Kis rózsaszín malac.
- Félős természetű, de hűséges barát Micimackóhoz.

3. Füles (angolul "Eeyore"):
4állatfajta. szürke öszvér/szamár
* jellemzően melankolikus és mindig kissé lehangolt, de szerethető figura

5 - Nyuszi ("Rabbit"):
Állata? hosszú füles nyúl
* Jó szervezőkészségű néha túl komoly is tud lenni.

6. Tigris (Tigger)
• ÁLLATFAJ : Narancssárga tigrisként ábrázolják.
• VIGYOROS,UGRÁLÓS TERMÉSZETŰ BARÁTOM!

7 - Bagoly ("Owl")
~ madarak közül a búbos bankát mintázták nála
Bölcsnek tartja magát... de néha bonyolultan fejezi ki gondolatait

 

ugy latom meg a nagyoknak se megy ez igazan... mondjuk a deepseek inkabb tech model, irodalmi feladatokban nem jeleskedik (probaltam mar vele verset iratni, meg kerdeztem Petofirol, nem sikerult neki egyik se), de eleg jol ir kodot, meg is erti a legelvetemultebb c kodokat is, meg tech dokumentaciot is jol ir magyarul es szakfordit oda-vissza angolbol/ba is.