( bbking | 2025. 02. 02., v – 13:33 )

ollama + DeepSeek32B elhalt M2+16GB RAM-os gépen, de a kissebbek mennek - amire használni akartam, hogy betöltök nekik egy pár nem publikus PDF-et és azokból nyerjen ki válaszokat, nem annyira müködik (a válaszok nagy semmik).

ezt a tenstorrent / Grayskull AI graph processor ismeri valaki? Árban nagyon jók és elvileg mindenféle modellt támogatnak. A kérdésem csak az, hogy olyan egyszerüen mint az ollama vagy azért jóval több a ráfordítás?