( arpi_esp | 2022. 07. 03., v – 14:10 )

Szerkesztve: 2022. 07. 03., v – 14:38

kibovitettem a "tanitashoz" hasznalt szovegmennyiseget, bele kerult tobbek kozt par oldal forum hozzaszolasai is. az eredmeny hol jobb hol rosszabb lett, nehany szonal nagyon latvanyosan bekerultek a hibas variansok is, 10%-nal nagyobb aranyban, pl:

172253 irtam [(154069, 'írtam'), (18119, 'irtam')]
2820 ekezetes [(2441, 'ékezetes'), (377, 'ekezetes')]

korrekcio gyanant beleraktam, hogy azokat a sorokat (=hozzaszolasokat), ami hiba nelkul abrazolhato us-ascii charseten, skippelje:

HUP (2019-es dump):       lines= 600000   words=1584246  skip=87336
Index forum (kis resze):   lines=1969000   words=4396418  skip=127856

aranyaiban a HUP-on irnak a legtobbet ekezettelenul (14.5%), de meg az index-en is 6.5% az arany.