( tamas.hornos | 2024. 12. 21., szo – 22:15 )

Multi-GPU, multi-node tréning működik. Ökölszabályként a memória mérete és az FP16-os teljesítmény számít. Lakossági szinten a csúcs egy dual 4090-es gép (kártya: inno 3d vagy msi slim), ezután jön a tinybox (https://tinygrad.org/#tinybox). Jó kérdés persze, hogy miért nem tesz az Nvidia több memóriát ezekre a kártyákra :) A 24 vagy 16 GB-os kártyákat nézd (https://www.nvidia.com/en-eu/geforce/graphics-cards/compare/) Kezdetnek: https://www.philschmid.de/fine-tune-llms-in-2025