Szorszal hasogatas:
"betűnkként generálva"
Nagysagrendileg 32000..128000 az ABC (vocabulary) amit hasznal, az ABC -ben bene vannak a hagyomanyos betuk, de gyakran teljes szavak is.
Az "ABC" betuit token -nek hivjak, "example" egyetlen token.
https://huggingface.co/tomaszki/llama-3-a/raw/main/vocab.json