Nem következtetés, inkább dilemma. Eltekintve a technikai korlátoktól (kontextusablak memóriaigénye*) kontra egyre ügyesebb optimalizáló technikáktól (KV caching, vlllm) van-e a RAG kialakításnak elvi előnye a nagy kontextusablakban explicit megadott, a prompt szerkesztője által relevánsnak tekintett kijelentésekhez képest? Az alapmodell tanítása, finomhangolása, szerintem mindent visz, ha a pontosság a cél. De ez egy olyan irány ami erőforrásigényes (gépkapacitás, idő, emberi szakmunka). Viszonylag gyorsan változó kontextus-tér esetén nem ésszerű. Egyszerűbbnek, vagy legalábbis gyakorlatiasabbnak tűnik ilyenkor vagy egy külső és viszonylag könnyen karbantartható tudásbázis használat, vagy a tudatos prompt szerkesztés - főleg ha nagy kontextusablakok vannak. De melyik a jobb, melyikre érdemes folyamatot alapozni, van-e ilyen rangsor köztük. A rag koncepció talán jobban illik egy ismételhető, karbantartható termelési folyamathoz. Viszont - és ez most csak feltevés lesz részemről, pont ez a dilemma oka - a prompt szerkesztésnél a modelltől elvárt következtetést megalapozó kijelentések (szak)ember általi összeállítása talán pontosabb és így pontosabb választ is eredményez, mint a gépi úton szemantikai hasonlóság alapján összeszedett kontextus.
* = localhost 32 kb-ról 64 kb-ra emelt ablakméret gigabyte-os memóriahasználat növekedéssel járt (qwen coder).