AI tema, local

Kedves HUP lakok

Local AI-ra keresek megoldast.

Kali, nvidia 12gb a kiindulasi pont. Nyilvan tarhely, memoria, vga flexibilis. Nem nekem kell, csak probalok segiteni egy ismerosnek.
Tovabba how to train your local AI temakorben is szivesen fogad tanacsokat.

( Nyosigomboc v | 2025. 12. 13., szo – 01:08 )

Ez tudtommal sovany lesz, de itt vannak nalam hozzaertobbek is - legalabbis akinek van ra krlloen eros gepe.

Utobbihoz meg ajanlom Andrej Karpathy youtube videoit.

A strange game. The only winning move is not to play. How about a nice game of chess?

( dlaszlo | 2025. 12. 13., szo – 09:10 )

Szia! LLM-re kell?
 

1. Érdemes ezt kipróbálni: https://ollama.com/download

Itt a kisebb modellek (van amelyik elég jó) már jól működnek, pl llama:8b, működni fognak videókártyán. És próbálgatni kell a modelleket. + jó promptot írni neki.

Ha fine tuning-olni akarjátok, akkor erre ezek a "kicsik" pl nagyon jók. (nem olyan okosak alapból, mint pl a chatgpt 5, de fine tudning után elvileg a feladatra jó lesz)

Egy modell, ami elég jó CPU-n is: gemma3:27b -> ez már kicsit nagyobb, de nem lesz marha lassú, meglepően jó CPU-n. Ezért is szeretik sokan.

 

2. Másik lehetőség a modell letöltésre, és futtatásra (ha python): https://huggingface.co/ Itt minden is van.

 

3. Ha nagy modell kell, akkor "felhő". Nem drága egyébként, "1 millió token" általában az árazási egység, még akár az openai is jó lehet (nyilván olcsó modellt kell választani, nektek nem biztos, hogy olyan kell, ami hangot fogad, hangot ad, meg képet generál). De https://deepinfra.com/ vagy https://groq.com/ . Pl.: 10 USD-ből sokáig el lehet lenni otthon, én ennyit használtam el.

Egyébként a gemma3:27b ingyenes ha jól tudom a Google AI stúdióban, csak vannak limitációk (amiket hobbi projektben nehéz elérni):

https://ai.google.dev/gemini-api/docs/rate-limits 

https://ai.google.dev/gemini-api/docs/pricing

 

4. Ha python és felhő + jupiter notebook jó, akkor Google colab. Ki lehet próbálni dolgokat, és lehet "nagyobb" videókártyás képet ingyen kapni, vagy feltölteni pár USD-vel.

 

Tanulni:

Nem biztos, hogy ez a leghatékonyabb módja, de én vettem egy ilyet, érdemes itt kezdeni: https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models Eléggé átfogónak, és jónak látom, "black friday" alkalmából 9.99 EUR volt. Érdemes várni kicsit, amíg megint leviszik az árát. (az udemy-n rendszeresen csinálják)

Sajnos csak időm nincs, de kicsit nézem majd ha végre elkezdődik a szabi.

 

De én is azt mondom, hogy esetleg egészítse ki, vagy javítson ki, egy nálam hozzáértőbb. Csak a próbálgatásnál tartok.

( arpi_esp v | 2025. 12. 18., cs – 00:39 )

milyen AI? llm? (milyen temaban, milyen nyelven?) hang? (speech2text vagy forditva?) kepgeneralas? kicsit jobban specifikalni kene...  tanitashoz brutal eroforras szokott kelleni, talan a LoRa-s finetuning kivitelezheto hazilag. de a 12GB-os gpu ahhoz is sovany lesz...

( Dhat | 2025. 12. 23., k – 11:26 )

Éppen egy RAG LLM megvalósításon dolgozom. Megy is, minden működik: saját forrás feldolgozása remote ai felhasználásával. Azon gondolkodom, hogy a vektorizálást és a válasz generálást lokal AI-val kellene megvalósítani, ekkor lenne teljesen biztosítható a forrás rendszeren belül tartása.

Van-e esetleg ebben valakinek tapasztalata, hogy milyen modellt lenne értelme lokálisan működtetni.

Cél: lehető legkisebb harware + megfelelő működés.

Magyarul kell tudnia, vagy angolul elég?

Én most ezzel foglalkoztam egy kicsit: https://livekit.io/ A llama3.2:3b modellt használtam, ami nagyon kicsi, egy 8 Gb-os nvidia 4060 videókártyám van, és bőven elfér benne, a TTS (Kokoro-82M-v1.0-ONNX), és STT (faster-distil-whisper-small.en) modellekkel együtt. Ennek a modellnek a hátránya, hogy csak angolul tud. De angolul egyébként nagyon jól, beszélgetni tökéletes. Cserébe nagyon kicsi, a teljes stack, ami a livekit-hez kell a saját gépemen fut.

Ha CPU-n viszonylag gyorsan futó, magyarul tökéletesen beszélő, kicsit nagyobb modell kell: gemma3:27b -> én ezt próbáltam. A videókártyában már (éppen) nem fér el, de meglepően gyors CPU-n. Kb hasonló kategóriának érzem, mint a GPT-5-mini-t.

Magyar/angol/német első körben, aztán más is.

Közben kitúrtam az internetet, és rájöttem, ha bérelek saját modell példányt, lehet, hogy olcsóbban jövök ki és stresszmentesebb.

Most vektorizálásra a gemini-t használom (3072), a kérdés-válaszra pedig valószínű bérelt lesz valami llama....

Viszont ez a livekit.io elég érdekes, ránézek. Kösz.

llm-hez sajat vas nem hiszem hogy megeri barkinek is, foleg ha a sebesseg is szamit... egyedul ott latom ertelmet ha teljesen offline kell mukodnie, vagy ha mar ugyis van parlagon gep hozza (pl valami tartalek szerver vegtelen sok rammal)

rag-hoz gondolom eleg ha szoveget ert/ir es tud keresni, nem kell nagyon intelligens/okos model. erre egy llama3 vagy gpt-oss is megfelel, de azokhoz is kell sok memoria.

Közben kísérletezgettem evvel-avval.

Ami kiderült számomra:

  • Saját vason saját modell off
  • Nem annyira drága, ha valamilyen csomagra előfizetést veszek itt-ott
  • Beszélgetős és sok nyelvű text visszaadós témában az openai modell verhetetlen: a 40mini is jobb mint a Gemini3 vagy llama3
  • Az előny a válaszok összeszedettségén kívül megmutatkozik a promptolas egyszerűbbségében is.

a gpt-oss is elerheto, hasonlo a merete de sokkal jobb a llama3-nal...

anno a llama volt az elso letoltheto, magyarul is viszonylag jol tudo llm, de azota mar rengeteg alternativa van, es a llama3 nem sok fejlodest hozott az elso llama-hoz kepest szerintem.  

pl. tavasszal probaltam szoveg korrekciora, javitasra hasznalni llama3-at, mert sokkal gyorsabb volt a deepseek-nel, de az eredmeny hasznalhatatlan volt, neha teljesen atirt (ertelmet tekintve is) dolgokat, vagy siman kihagyott 1-2 mondatot...

mit ertesz base alatt? a 16/32 bites float verziot? ahhoz keves a 128GB memoriam, bar mintha egyszer probaltam volna azt is 128GB ram + 24GB VRAM komboval.

Llama-3.3-70B-Instruct-Q8_0-00001-of-00002.gguf  (73GB a 2 file)

gpt-oss-120b-mxfp4-00001-of-00003.gguf  (62GB a 3 file)

de ezt is probaltam nyaron:

meta-llama_Llama-4-Scout-17B-16E-Instruct-Q6_K_L-00001-of-00003.gguf  (87GB)