Ezt próbáltátok már? https://github.com/antimatter15/alpaca.cpp
A saját gépedre le tudod tölteni, egyszerű lefordítani, curl-el le kell szedni egy 4 Gb-os modelt, és localhoston tök jól működik, hasonló mint a chatgpt.
Ezt próbáltátok már? https://github.com/antimatter15/alpaca.cpp
A saját gépedre le tudod tölteni, egyszerű lefordítani, curl-el le kell szedni egy 4 Gb-os modelt, és localhoston tök jól működik, hasonló mint a chatgpt.