kepgeneralok kicsik, stable diffusion modellek 1-3 millio parameter. egy LLM kb 100x-1000x ennyi!
70B modelt 2x24GB gpu-val futtatni max Q4-ben lehet szerintem, akkor a GPU dolgozik foleg, vagy cpu-n de akkor meg mind1 milyen a gpu, akkor a system ram szamit (minel tobb/gyorsabb annal jobb)
raadasul a deepseek nem 70B meretu hanem 10x ekkora, amit deepseek 70b-kent emlegetnek az egy llama 70b model a deepseek-el tovabbtanitva. nem sok koze van a deepseekhez. a 30B-s pedig egy qwen model deepseek-en tanitva.