hat ez nagyon santit. eleve 48GB vramja van az is 2 kartyan, az a gyakorlatban kb 40GB-nak felel meg (vannak olyan reszei a modellnek ami mindket gpu-nak kell, pl embedding, igy van valamennyi overlap/overhead)
es ez a deepseek-r1:70b nevut futtatja, aminek annyi koze van a deepseek r1-hez mint nekem a fideszhez, kb hogy hallott rola :)
a deepseek model 671B parameteru, es 720GB meretu, 768GB ram alatt meg se nyikkan Q8-ban, azzal is eppencsakhogy. de meg
a kisebb "distilled" modellek igazabol llama es qwen modellek finetuningolva deepseek adatokkal, az teljesen mas liga. kb a temu-s deepseek lenne jo jelzo ra :)