Szöveg darabolása – RAG adatelőkészítés

Folytattam a blogon a Keresésalapú Szöveggenerálásnál (RAG) témát. Ezúttal a szövegek darabolásáról írtam. Az előző írásomban kifejtettem, miért érdemes a szövegeket kisebb részletekre vágni. Bemutattam a „tű a szénakazalban” tesztet, valamint azt is, hogy a hosszabb szövegek feldolgozása nagyobb erőforrásokat igényel. A mostani bejegyzés inkább gyakorlati megközelítést kínál, és különböző darabolási eljárásokat ismertet.