Megprobalom elmagyarazani pl miert lehetetlen - reszben - hogy emlekezzen mindenre:
Amikor elinditasz egy beszelgetest - kapsz egy kontextus ablakor (az egyszeruseg kedveert mondjuk 200 szo... - TOKEN masneven - es meg csak nem is szavakra van bontva inkabb betuk, betucsoportok). Bekuldod - elfogyott belole 50... A modell valami adatkozpontban matekozik egy jot vele - kigeneral valamit (nezz utana hogyan - itt a titok a generativra) es visszakuldi... Te visszakerdezel, pontositasz, nos akkor tulkeppen elmegy az eredeti kerdesd, az elozo valasz es aj kerdesed egyszerre kontextuskent es a cluster ujra metakozik vel - nyilvan most mar kisse okosabban mert ott az alozmeny eis hisz bekuldted a kontextust ... Ez igy mar mindjart 50+40+50 token... Ily modn eleg gyorsan elfogy a 200 token, es ha elfogy akkor a beszelgetes mint egy ablak mar csak az utolso 200 tokent huzgalja lefele... Mindja egy konyvet ugy olvasnal hogy van egy 200 szavas lathatosagi ablakod - sem elott sem tan nem tudsz semmit...
A valo eletben ez a kontextus ablak nyilvan tobb mint 200 es modell es elofizetes fuggvenye - de az elv ugyanaz...
Ezert ajanlott gyakran uj sessiont kezdeni es rovid kontextrust adni es sajat keresheto vektor memoriat epiteni ami egyreszt befer a kontextusablakba, masreszt csak a valos, lenyeges es jol csoportositott informaciokat tartalmazza a modell szamara az aktualis valasz kigeneralasahoz. Es akkor meg a egy csomo egyeb parameterrol nem is beszeltunk.