Gondoltam játszok egy kicsit az AI-al, de kevés infóm van a vas kiválasztásához.
Úgy látom házi körülmények között az Nvidia videó kártya a nyerő, de nem tudom mi alapján válasszak kártyát? A traning-nél mi számít, a Tensor Core, a CUDA vagy valami egyéb?
1 vagy 2 db RTX3080 TI felé hajlok, csak gondoltam a tettek előtt rákérdezek.
Hozzászólások
játszom*
AI-jal*
gondoltam[vessző].....*
nem tudom[vessző]....*
> A traning-nél mi számít
a memoria! ha bele se fer a model akkor tokmindegy hany cuda van, mert egyet se tudsz hasznalni :(
en tavaly kiserleteztem sajat (L)LM modell epitesevel, itt leirtam a tapasztalatokat.
a lenyeg, hogy egy 24GB memorias rtx3090-el 200-400 millio parameterest (kb GPT-2) lehet tanitani, nagyobb mar nem fer bele.
osszehasonlitasul a legkisebb LLAMA is 15x ekkora, a nagy pedig 70 milliard parameteres... a chatgpt allitolag 1000mrd.
az LLM-eket sokszaz A80-al vagy mas 80GB memorias gpu-val tanitjak (ujabban meg P200-on).
persze tanulashoz, kiserletezeshez eleg egy kis modell is, nekem egy hetig ment a train es kozben folyamatosan lattam ahogy fejlodik (kozbe cpu-val futtattam teszteket a checkpointokbol)
ami meg kelleni fog (es ezt nehezebb beszerezni mint egy rtx-et) az a 10+ GB tiszta szoveg. legalabbis ha magyart akarsz :)
Köszi, benned bíztam, hasznos volt a blog.
Először tanulás és kísérletezés a cél, aztán pedig nagyon célspecifikus inkább SLM mint LLM.
„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)
Választhatsz egyszerűbb utat is, RAG-ot (Retrieval-Augmented Generation) már kész llm-re és akkor a létező doksikból keresi ki neked a választ. Pont ezzel terveztem szórakozni a következő hetekben.
Multi-GPU, multi-node tréning működik. Ökölszabályként a memória mérete és az FP16-os teljesítmény számít. Lakossági szinten a csúcs egy dual 4090-es gép (kártya: inno 3d vagy msi slim), ezután jön a tinybox (https://tinygrad.org/#tinybox). Jó kérdés persze, hogy miért nem tesz az Nvidia több memóriát ezekre a kártyákra :) A 24 vagy 16 GB-os kártyákat nézd (https://www.nvidia.com/en-eu/geforce/graphics-cards/compare/) Kezdetnek: https://www.philschmid.de/fine-tune-llms-in-2025
vagy lehet ilyen volumennel mar jobban megeri berelni... anno nezegettem es nem olyan veszes az A80-as node-ok berleti dija. persze attol fugg mennyi idore kell.
A válasz elég egyértelmű, nem akarja kannibalizálni az ipari kártya piacát. Az már jobb kérdés, hogy hogyan veszi rá azokat a gyártókat, akik csak a gamer piacon vannak jelen, hogy ne kezdjenek egymással versenyezni RAM méretben. Vicc, hogy gyakorlatilag 50% árkülönbség is tud lenni ugyanazon chip-et tartalmazó kártyák közt, miközben a gyártó "tuning" paraméterei és a ledek száma/színe kb csak a különbség.
Pénzt és energiát nem sajnálva vettem egy jó kis laptopot. Azóta eltelt 13 év és a 2 magos gen 2 i7 már nem számít ütősnek. (Egy gen 13 i7 mag kb. 4x gyorsabb, és manapság tucatjával vannak a magok, igaz nem mind egyforma.) Régi vas, 8GB RAM, GPU nuku. Így álltam neki LLM-mel játszani, és persze saját tudással felvértezni RAG-gal.
A HW eléggé lelimitált, így dockerben futtattam ollama-t, llama3.2 1b és 3b-vel. Az 1b sebessége nem volt vészes beszélgetéshez, de néha csúnyán félresiklott. A 3b elég jól fogta a problémákat, jól is kódolt mindenféle nyelven, de 1 perc várakozás sajnos befigyelt.
A RAG okozta a lassulást, mert az minden prompthoz még odadobta a releváns doksikat (txt, md forráskóddal megspékelve, py és ts források). Meg persze a contextet is oda kellett adni minden alkalommal. A py kódot most nem dobom ide, Gemini vagy ChatGPT megírja bármikor, de lényegében sklearn kellett csak hozzá a RAG miatt. RAG, context és ollama kezelés mindenestül kb. 70 sor. Na jó, a system prompt még elvitt pár sort, mert le akartam korlátozni, hogy miről beszélgethet. A beírt kérdéshez a megfelelő doksik előásása kb. egy tizedmásodperc lehetett, ami nagyon meglepett.
A tanulság: Megfelelő hardveren mindenféle szaktudás nélkül is csodát lehet tenni.
de ő betanítani akarja, az más kapacitásigény. Futtatni akár mobilon is lehet pl. llama.cpp 3B (q4) van is példa.
Az attól függ, hogy a betanítás mit jelent. RAG-gal is el lehet elég jó eredményeket érni, pl. egy webshop aktuális kínálatához és a termékek bemutatásához elég lehet. Ehhez manapság egy kenyérpirító számítási kapacitása is elég :D. Nyilván egy PEFT sokkal jobb, csak hát én azt meg sem mertem próbálni.
es tudsz pl. 1B-3B korul magyarul jol beszelo modellt? nagyobb se sok van...
Erre a kérdésre II. József már 240 éve válaszolt :D
Megkérdeztem a ChatGPT-t, BERT (mBERT, HuBERTUSz, stb.) alapon több is van, igaz 1B alatt, a többi pedig 7B és fölötte. Mi a baj az mBERT-el, a "jól beszélő" részt nem teljesíti?
Kb. eljutottam oda, hogy nagy vonalakban tudom mi kellene: Egy tudás nélküli, kis erőforrás igényű (GPU nem játszik), elfogadható magyarsággal "beszélő" chat alap ami később RAG-al kapná az aktuális okosságot.
Ha valakit érdekel:
HuBERTUSz: Alacsony paraméterszámú transzformer modellek létrehozása és kiértékelése magyar nyelvre
„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)
a BERT nem beszel, csak megerti a szoveget (nyelvi analizator, text classificationre jok)... es ahhoz eleg 200M is amugy.
itt teszteltem oket.
magyarul "beszelo" (szoveget generalo) nem sok van, ami van es jo azokat nem lehet letolteni, csak api-val penzert hasznalni. en eddig errol a 2-rol tudok, ami "szabadon" (azert a licenszeket erdemes megnezni) elerheto:
- https://huggingface.co/NYTK/PULI-GPT-3SX
- https://huggingface.co/sambanovasystems/SambaLingo-Hungarian-Chat-70B
de egyik sincs a kanyarban se a chatgpt-hez kepest :(
nem próbáltam még túl sok modellt, de pl a llama3.2 vision 11b egész jól válaszolgat magyarul, 1-2 hibát leszámítva:
a llamat mar probalgattam, de magyarul nagyon gagyi volt. hivatalosan nem is tud magyuarul, de nyilvan par mondat azert bekerult a trainingsetjebe.
Supported languages: English, German, French, Italian, Portuguese, Hindi, Spanish, and Thai.
ami meg egesz jo magyarul, az az nvidia modositott modellje: nvidia/Llama-3.1-Nemotron-70B-Instruct-HF
itt lehet probalgatni: https://huggingface.co/chat/
szerk: most megneztem a llama 3.3-at, egesz jo:
a 11B verzio is vicces:
ez valami alternativ univerzum?
engem meggyozott :)
neked aztan fura humorod van...
nem probaltam meg, de ott van a EuroLLM:
https://huggingface.co/utter-project/EuroLLM-9B-Instruct
van kisebb verzio is. Az 1.7B peldaul ilyen :
ki lehet probalni : https://huggingface.co/spaces/nyuuzyou/EuroLLM-1.7B-Instruct
Na végre valamelyik érti 🤣🤣🤣
/Troll off
erdekes ez az EuroLLM, ugy latszik Brusszel ezt is megtamadta, es nem bir lejonni az ereszrol :)
A memoria merete a legfontosabb, szoval 3060 12GB, 3080TI 16GB vagy 4060TI 16GB fele nezelodj, budgettol fuggoen.
inkabb 24G-s kartyakat, 3090 mar 1 eve se volt draga hasznaltan
Köszi. Közben emiatt már módosítottam a target-et 3090-re, ahogy Árpi is írta, a 24GB miatt.
„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)
2 x 3060 újonnan nincs 300 és ugyanúgy 24GB.