kibovitettem a "tanitashoz" hasznalt szovegmennyiseget, bele kerult tobbek kozt par oldal forum hozzaszolasai is. az eredmeny hol jobb hol rosszabb lett, nehany szonal nagyon latvanyosan bekerultek a hibas variansok is, 10%-nal nagyobb aranyban, pl:
172253 irtam [(154069, 'írtam'), (18119, 'irtam')]
2820 ekezetes [(2441, 'ékezetes'), (377, 'ekezetes')]
korrekcio gyanant beleraktam, hogy azokat a sorokat (=hozzaszolasokat), ami hiba nelkul abrazolhato us-ascii charseten, skippelje:
HUP (2019-es dump): lines= 600000 words=1584246 skip=87336
Index forum (kis resze): lines=1969000 words=4396418 skip=127856
aranyaiban a HUP-on irnak a legtobbet ekezettelenul (14.5%), de meg az index-en is 6.5% az arany.