Pénzt és energiát nem sajnálva vettem egy jó kis laptopot. Azóta eltelt 13 év és a 2 magos gen 2 i7 már nem számít ütősnek. (Egy gen 13 i7 mag kb. 4x gyorsabb, és manapság tucatjával vannak a magok, igaz nem mind egyforma.) Régi vas, 8GB RAM, GPU nuku. Így álltam neki LLM-mel játszani, és persze saját tudással felvértezni RAG-gal.
A HW eléggé lelimitált, így dockerben futtattam ollama-t, llama3.2 1b és 3b-vel. Az 1b sebessége nem volt vészes beszélgetéshez, de néha csúnyán félresiklott. A 3b elég jól fogta a problémákat, jól is kódolt mindenféle nyelven, de 1 perc várakozás sajnos befigyelt.
A RAG okozta a lassulást, mert az minden prompthoz még odadobta a releváns doksikat (txt, md forráskóddal megspékelve, py és ts források). Meg persze a contextet is oda kellett adni minden alkalommal. A py kódot most nem dobom ide, Gemini vagy ChatGPT megírja bármikor, de lényegében sklearn kellett csak hozzá a RAG miatt. RAG, context és ollama kezelés mindenestül kb. 70 sor. Na jó, a system prompt még elvitt pár sort, mert le akartam korlátozni, hogy miről beszélgethet. A beírt kérdéshez a megfelelő doksik előásása kb. egy tizedmásodperc lehetett, ami nagyon meglepett.
A tanulság: Megfelelő hardveren mindenféle szaktudás nélkül is csodát lehet tenni.