> kontextusértése nincs
> csak a szógyakoriság valószínűsége alapján dolgozik
latom halvany lila gozod sincs az llm-ek mukodeserol... amit irsz az a cnn, esetleg a korai rnn modellekre volt igaz csak. az lstm model is kezelt kontextust.
mar az elso llm-ek is 2048 tokenes context-el dolgoztak, a maiak meg mar nagysagrendekkel nagyobbat is tudnak kezelni.
szogyakorisag? ez nem bayesian vazze...
szo* valoszinusegrol van szo, megpedig a context alapjan legvaloszinubb kovetkezo szo valoszinuseget szamolja ki a model.
*: magyar nyelvnel (foleg tobbnyelvu llm eseten) 1 szo altalaban nem 1 hanem tobb token, altalaban szotagok, neha betuk a tokenek, sot az ekezetes betuket neha tobb tokenbol rakja ossze, igy a 2048-as context valoban nem sok magyar szovegre eleg.