Legtöbbször Llama3.3 70B-t használok:
- nagyon gyors, teljesen hasonló élmény, mint a publikus ChatGPT. Nem sokat gondolkodik, azonnal tolja a választ és érzésre teljesen hasonlóan érkeznek a szavak, mint a ChatGPT 4o esetén
- már nem hallucinál annyit, mint a kisebb testvérei. Azt tapasztaltam, hogy a kisebb modellek (1B, 3B, 8B) csak "játszani" tesztelni alkalmasak, sokszor hülyeségeket válaszolnak. Profi munkára (pl. több oldalas pdf dokumentumokat értelmezni, tartalmából válaszolni) nem alkalmasak a kisebbek.
- most feltettem neki ezt a kérdést, amit írtál (hasonlítsd össze a JAVA és C nyelveket portolhatóság szempontjából) és nagyon hasonló választ kaptam, mint a ChatGPT-től. A lényeg ugyanaz volt, a ChatGPT válasza kicsit talán szakmaibb de nem jöttek tévedések a lokál Llama-tól sem és szépen összefoglalta, kifejezetten gyorsan.
---------------------------
Speech-To-Text: igen, jól érted, nyílt forráskódú S-T-T modell-t használok lokál: Whisper turbo (809 M paraméter, Multilingual), egész jól elboldogul a magyar podcastokkal. De eléggé hardverigényes, ahogy említettem arra a 3 percre, amíg végez egy egyórás podcasttal, alaposan megizzasztja a két RTX3090-et. (egyszerű Python kódot futtatok, egyelőre nincs GUI.)