Szia! AMD Ryzen 9 7950X fut 64GB RAM-mal, de a lényeg a 2x RTX 3090 CUDA támogatással.
NVMe M.2 2TB-on van az Ubuntu/Ollama/Docker Open WebUI/Apache Tika és még néhány bedolgozó. A RAG-hoz embedding és reranking modellek kellenek. Nem kevés idő volt megtalálni egy működő konfigot. Ha érdekel, szívesen megosztom.
Nvidia-smi-n figyelem (watch -n 1 nvidia-smi): simán fel tudja fűteni a két RTX 3090-et 82-83 fokra, úgy, hogy külön ventilátorok hűtik őket. (Mondjuk nagyon hamar vissza is hűlnek utána, ha kész a feladat.)
Pl. Egy Speech-To-Text feladatnál (pl. egyórás magyar podcast kb. 3 perc alatt szöveggé alakul) nagyon szépen fűtenek.