Próbáld ki esetleg azt is, hogy nem beolvasás közben keresgélsz duplikációkat, hanem először beolvasol mindent, és csak utána szűrsz.