valami RAG lesz
Ha a memory-ra gondolsz, nem írja az openai help, hogy az aktuális promptra releváns korábbi beszélgetéseket kontextusnak használja, hanem hogy hivatkozik a korábbi chatekre, meg mentett "emlékekre". Ez így nekem inkább olyan, mintha valami profilszerűt építene a korábbi beszélgetésekből, annak bizonyos vonatkozásaiból ha a memory engedélyezett, és azt viszont hozzáteszi kontextusnak mindig, minden új chatben.
Nem is feltétlenül lenne jó ha minden korábbi chat contextben lenne. Számomra a chatgpt-nél a chatek alapvetően izolált "munkaterületek", és ha valami célra hangolt gpt-t akarok, akkor csinálok egy custom gpt-t és abba berakom ami ott contextként fontos, vagy rag megoldásokat vizsgálok meg, de a tudásbázist nem egy modell korábbi válaszaiból töltve fel. Az LLM nem szakértői rendszer, hogy egy promptra predikált tokensorozatot igazságforrásnak vegyek. Nem is akarnám ezt így csinálni, az egy pozitív visszacsatolás lenne, ha a korábbi, saját maga generálta, akár azonos modellben prediktált tokensorozatokat tekinteném kontextusnak. Vagy ha mégis az kell, akkor lementem a chateket, keresek egy millió tokenes (ez meglehet vagy hétszázezer angol szó, ami már bőven az ezersokszáz oldalas szakkönyv terjedelem) context window nyújtó modellt, ha abba nem férek bele a feladatommal meg a kontextusával, akkor nem jó a probléma megfogalmazás.
Ha historikus és/vagy tényadatok kinyerésére van szükségem korábbi chatekből a modellhasználatról, az alapvetően nem generatív modellel végzendő feladatnak tartom, arra egy search library vagy search engine való.