Folytatás innen.
Ide várnám OS-el, NVIDIA driverrel és CUDA Toolkittel, Pythonnal, Python 'IDE'-vel, PyTorch-al, Tensorflow-val vagy egyéb szoftveres dologgal kapcsolatos tanácsokat.
Jelenleg egy szűz Debian Trixie fut a gépen, de bármilyen Linux lehet, de lehetőleg grafikus felület nélkül.
Azt látom, hogy szinte minden Python-ban készül, be is írattam magam gyorsan egy Python továbbképzésre.
Python fejlesztői környezetnek szimpatikus a NeoVim for Python.
Hozzászólások
Innen nezd meg, amit meg ertesz: https://m.youtube.com/@AndrejKarpathy/videos
Az 1 oras bevezetovel erdemes kezdeni, aztan a videoit az elejetol vegignezni (stable diffusion alkotasok feleslegesek).
Az a bevezeto eleg sok dologra ra fog vilagitani.
A pytorch-on kivul meg ajanlom a requests meg a beautifulsoup modulokat, mert rengeteg szoveg fog kelleni!
A vim-et es haverjait nem szeretem, de talan sok munkaval ki tudod hozni belole annak egy kis toredeket, amit megfelelo modulokkal egy vscode tud, vagy egy pycharm telepites utan azonnal, trukkok nelkul.
Ja, ha tavolrol akarod elerni - ezert nem akarsz grafikus kornyezetet - jo meg a Jupyter is.
A strange game. The only winning move is not to play. How about a nice game of chess?
+1500 a VSCode-ra, ha távolról akarsz a gépen dolgozni, akkor simán Remote: SSH kapcsolat teljesen jól működik, olyan, mintha előtte ülnél.
+sok Karpathy videoira, bar az inkabb akkor erdekes ha melyebben meg is akarod erteni mi tortenik a hatterben.
(l)lm model tanitashoz szerintem ez nem igazan szukseges, fogni kell egy mukodo implentaciot aztan hajra. igazabol az inputon fog mulni elsosorban, es a hiperparametereken (az meg foleg a hw-tol fugg mit bir el) masodsorban.
> mert rengeteg szoveg fog kelleni!
hat az a legnagyobb moka az egeszben, osszeszedni tobb 10 GB jo minosegu magyar szoveget. felteve persze ha magyar nyelvut akar tanitani. es az rengeteg ido, mert ha jol ossze is raktad a crawlert 1-1 nagyobb sitehoz, az utana hetekig fog futni. bar ma mar konnyebb talalni a neten magyar nlp dataseteket mint 8 eve amikor en kezdtem ezzel foglalkozni, pl. van az oscar-nak is nyelvekre szurt valtozata, kezdetnek jo az is, bar eleg rossz.
https://github.com/oroszgy/awesome-hungarian-nlp
vi* helyett én is ajánlom a Jupyter-t, ha minden igaz a VSCode-nak is van már valami inline Jupyter kliense.
Az elején nagy segítség ha könnyen és helyben tudod vizualizálni az eredményeket.
szoftverileg kb 3 irany elerheto egyszeruen:
1. llama implementaciok, akar az eredeti (mondjuk ahhoz asszem cluster kell) akar a kicsik (allamo, nanolama stb - ezeket probalgattam anno es irtam roluk a blogban)
2. gpt-neox es haverjai, ez elvileg egy free (chat)gpt klon szeretne lenni, en ugy vettem ki (megprobaltak a gpt3-at reprodukalni az elerheto infok alapjan)
3. huggingface-s transformers framework, ezzel par sorban lehet osszedobni python koddal szinte barmilyen modelt, gyakorlatilag pipelinet raksz ossze kesz dobozokbol, kezdoknek idealis de hosszu tavon nem epitenek ra
a tensorflow szerintem mar kiment a divatbol (nem kar erte), a pytorch par eve atvette a szerepet, foleg a transformer modellek szinte mind arra epulnek.
esetleg ha nagyon vagany vagy mehetsz valamelyik c++ implementacio fele is, vannak mar abban irt transformer frameworkok is, kezdve a llama.cpp-vel
OS: en ubuntut hasznaltam mert leginkabb arra van minden is, meg ott se mindegy a verzio, ha nem akarod a vegletekig szopatni magad, mivel az nvidia CUDA-s toolok nem opensourcek (csak a kernel driver egy resze), es ok tudtommal kizarolag ubuntut supportalnak.
Köszönöm mindenkinek a tanácsokat. Nagyon mélyen meg akarom érteni, hogy mi történik a háttérben, szóval most mozizom.
Úgy látom a CUDA Toolkit már egy csomó distro-ra letölthető, nagyon nem szeretek ubuntuzni.
„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)
Huh, egyszer ossze fogom szedni ezeket a linkeket, mert mindig kimarad valami (most is). Parszor mar beirtam par forumba/chatre.
Kaggle: osszeszedtek mindenfele adathalmazt. Jo adattisztitas gyakorlasra is, meg mindenfele algoritmussal valo kiserletezesre. De vannak fent letoltheto, kesz modellek is. Ha mondjuk ki akarod probalni, hogy kezzel irt szamjegyek felismerese mennyire menne, nem kell bescannelned 100000 szamjegyet, csak letoltod az MNIST dataset-et, es probalgatod (jo, konkretan ez ma mar kb. hello world nehezsegu). Hasonloan, ha megnezel valami publikaciot, le fogjak irni, hogy az XY dataset-en 98%-ot ertek el, az XY dataset-et itt megtalalod, es ki tudod probalni, hogy amit kitalaltal, az tud-e jobbat.
MIT OpenCourseWare: az MIT-s eloadasok egy reszet felveszik, es felteszik szabadon elerheto formaban. Mar tobb helyen ajanlottam, eleg jo minoseguek, bar a keresojuk azert nem tokeletes (az egyetemi tanrendhez igazodik). Van fent eleg jo pythonos kurzusuk, a 2. felevben mar data science meg Monte Carlo szimulacio meg hasonlok mennek. 2016-os, ugyhogy a mutatott toolokat mar nem ajanlom (PyCharm meg a VSCode koroket ver ra), de a tananyag nagyon jol sikerult. Van fent AI kurzus is, bar azt meg nem neztem vegig. 1. felev 2. felev
A strange game. The only winning move is not to play. How about a nice game of chess?