pgsql, sqlite, mysql

Adott egy 21504509 és egy 450318 soros (soronként 80-90 karakteres, 17 oszlopot tartalmazó) csv fájl,
méretileg nézve 1.7GB és 27MB, amely két táblát reprezentál. E két tábla fejhasználásával zajlik néhány jó durva lekérdezés, melyben igen kemény, sokoszlopos join-ok (és "where not exists..." részek, azaz anti-joinok) vannak, megfelelő indexek nélkül. (Az indexek létrehozása időigényesebb lenne, mint az egész folyamat, úgyhogy maradtam az indexmentes változatnál; nem is beszélve az indexek durva helyigényről, amit inkább nem vállaltam.)

Az összehasonlításban meglepően szép helyet ért el az sqlite. Döbbenetesen profi munkát végeztek a fejlesztők.

pgsql9.1: 22 perc
sqlite3: 50 perc
mysql5.5: 2 óra alatt sem volt értékelhető eredmény, még az első lekérdezésben sem, ami pedig az sqlite-nak is megvolt 20 perc alatt.

Az Oracle 11g R2 alatti eredményt csak emlékeimből tudom előhalászni, az is egy órán túl mozgott.

Tulajdonképp arra voltam kíváncsi, hogy egy olyan lekérdezéssel, ahol nincs explicite megadva a join mikéntje, csak egyszerűen "where exists..." és "where not exists..." részek szerepelnek, ki mit kezd. Az adatbáziskezelőnek kellett kitalálni az illesztési módszert, és többnyire hash join adódott. Valahogy az sqlite kis méretéből adódóan valóban nagy sebesség jött ki. Tényleg ül a szlogenjük: Small. Fast. Reliable. Choose any three.

A PostgreSQL kiválósága persze nem is igényel indoklást -- mindig is azt szerettem legjobban. :-)

Mindehhez egy Amazonos virtuális gépet kellett használnom; viszonylag combosat. A 8GB-os nem volt elég, muszáj voltam xlarge-ot (16GB-osat) lábra állítanom. Úgyhogy a fenti számok forintban is mérhetőek.

Nyilván ez egy spéci helyzet mérése, de számomra mégis mérvadó az eredmény. S aki apró-cseprő munkáihoz még nem barátkozott meg az sqlite-tal, annak nagyon ajánlom.