( kukukk | 2025. 03. 14., p – 10:24 )

Egy Mac Mini M4 Pro 48 GB memóriával nem jó/jobb opció Ollama-val futtatni a llama3 70b modelt? Az ollama.com azt írja, hogy 40GB a model, így be kellene férjen a memóriába.

A deepseek-r1 70b sem tűnik annyira vészesnek. A 671b már más kategória :}

Egy Open WebUI-t is beállítva hozzá, meg is van a teljes platform.