商务人员必备的法律工具

Hello Kitty, Kati vagyok, orosz, és éppen vőlegényt keresek. Ha te tudsz valakit, aki elvenne engem, kérlek feltétlenül írj! Mellékelten küldöm a gyógyszerkatalógusomat is, látod mennyi féle van?
A kékek megnövelik a péniszed (ha nincs, először növesztenek, és utána növelik meg), a barnáktól meg úgy kitisztul a végbeled, hogy olyat még a Princeton‑Plainsboro kolonoszkópiai osztályán sem tudna House csinálni. A pirosat vízben feloldva THM csökkentő italt kapsz, és miután megiszod azonnal beindul a futamidőgép, a sárgát pedig a köldöködbe helyezve egy hónap alatt garantáltan multimilliomos leszel! Csak leveleket kell küldözgetned, vagy képeket elolvasnod, és az ott látottakat beírnod egy szövegdobozba.
A 30%-a a tiéd a bevételnek, csak segíts, mert már pattannék valami melegebb helyre!

A barna egyébként tényleg fain, én is kipróbáltam, és tényleg működik! Egy hétig úgy cifráztam, hogy fugázni se tudtam Jevgenyijjel, és még a toalettre is ubuntus netbookkal jártam! Hogy mennyi manlapot, meg btrfs forráskódot olvastam, szent Lenin! Már a cirill ábécét is bináris fákba rendezem!

Sajnos azonban veszélye is van annak, ha ennyi dilibogyót tartok itthon. Múlt héten a kutyám felnyalt vagy egy maroknyi kéket, hát ne tudd meg milyen kanos volt. Agyturkászhoz kellett vinni a korcsot, mert estére már három szuka kalippózott a himbilimbijén, mire ez spanyolul ugatott! Kész dili.

Képzeld, múlt héten apám -Calvin Kobina- a ghánai Tarkwában lévő Standard Chartered Bank senior coin shininess managere írt egy levelet haza. Azt mondja jól van, de a segítségemet kérte -hiszen tudja, hogy az interneten keresztül mennyi emberrel vagyok kapcsolatban-. Talált $6,850,000.00 kis címletű, izé, hogy is hívják a ti nyelveteken? Megvan, банкжегйбен. Szóval talált ennyit a hátsó raktárban. Megkérdezte, hogy miért van ott, kell-e valakinek, de mindenki azt mondta, hogy semmit sem tud róla, nem az övé.
Szóval ott van ez a sok gempa, amit szívesen elküldene bárkinek nokiás dobozokban. Azt kérte, hogy szerezzek neki címeket. Ha neked kellene pár nokiás doboz, vagy ismersz olyat, akinek igen, küldd el az adatokat!

Full
Name.....................................................................................
Contact
Address..................................................................................
Private Telephone
Number...................................................................................


Age......................................................................................
Occupation and
Position.................................................................................

Csók, Jekatyerinka.

A probléma
Az interneten levelezni kb. olyan, mint egy Bugatti Veyronnal 408,5 km/h-val betonfalnak vágódni: mikor leülsz, érzed, hogy lobog a hajad, szabadság, utánégetők, meg minden, aztán nagyon gyorsan mellbe vág a szomorú valóság: 312 új üzeneted van, amelyből az első melegvizes végbéltisztító-kúrát, a második pedig orosz menyasszonyt ajánl.
A hibát azt hiszem ott követtem el, hogy a cirka 1995 óta meglévő e-mail címeim (nem volt sok) még ma is működnek, így a tíz éves mostani (bra@fsn.hu, humán spamtrap alkalmazásba becsövezve) címre irányítva minden létező szemetet megkapok.
Ez különösen akkor volt látványos, amikor még sokat leveleztem mindenféle levlistán, és volt, amikor napi átlagban másodpercenként 2,5 levél jött be az egyszem e-mail címemre, melynek nagy része bounce volt.

Régóta érlelődött tehát valami spamszűrő teszt, így két hónappal ezelőtt bele is vágtam.

A csapat
Egy kimerítő, és valamirevaló teszt első, és legfontosabb kelléke az idő. Természetesen én is úgy érzem, hogy ez az egyik legritkább erőforrásom, így a következő kompromisszumok mentén szűkítettem az elérhető kínálatot kezelhető méretűre:

• statisztikai szűrő legyen
• a levelezőszerverként funkcionáló gépen (FreeBSD) mindenféle trükközés nélkül futtatható legyen
• nyílt forrású legyen
• a weblapja/doksija/konfigja alapján két perc alatt megértsem

Mint a fentiekből látszik, ez sajnos nem egy átfogó, több gyártó változatos módszerekkel működő termékét összehasonlító teszt. Ilyenhez már nem csak az idő, de egyéb feltételek -például maguk a termékek- is hiányoztak, és bár ha valaki nagyon akarja (azaz el tudja hitetni magáról, hogy potenciális vásárló), sorban állnak a világ hazai képviselettel bíró spamgyilkos cégei a demózásra, de goto 1, hallom, hogy ketyeg az óra, és biztos találok ennél értelmesebb elfoglaltságot is...

Nem @-zom (csigázom, jaj) tovább a nagyérdeműt, a négy kiválasztott szoftver:

• CRM114 (20100106)
• bogofilter (1.2.1)
• dspam (3.9.0)
• spambayes (1.0.4)

Mindegyik elérhető FreeBSD portként, így a telepítésük az egyszerűnél is egyszerűbb.

Bemelegítés
A választott szűrők közül valójában kettő nem felelt meg a követelményeknek. A CRM114 és a dspam ahhoz képest, hogy hasonló dolgokat művel, mint a többi (statisztikai alapon szöveget osztályoz, "dobozokba" sorolja őket) sokkal bonyolultabb, és kevésbé "adja" magát, mint a bogofilter, vagy a spambayes. A dspamet és a CRM114-et is sikerült segfaultoltatni, az adatbázisok felépítése, és az ezekkel kapcsolatos tudás megszerzése mindenképpen több időt igényel, mint a másik két programnál, nem éppen az a "plug and play" feeling.

Mind közül a CRM114 a legáltalánosabb megoldás, amely valójában nem is spamszűrő, hanem egy játszótér, amelyen például homokozó is van, ott pedig előre kihelyezve többféle szűrő, amelyekkel átszitálhatjuk az internet szemetét. De valószínűleg hangmant is írhatnánk benne, vagy választási ígéret igazságfokmérőt.

Míg a CRM114 és a dspam mögött többféle -választható- logika is dolgozik, a bogofilter és a spambayes jobban elrejti előlünk a belső világát, kevesebb lehetőséget ad, és az előbb felsorolt sorrendben érezzük, hogy a Sikorsky CH-54-től (CRM114) eljutunk a faékig (spambayes).
A teszt így persze igazságtalan, hiszen ha azt mondom, hogy a faékkel jobban tudtam emelni, más azt mondja, hogy ez csak azért van, mert a helikopterhez nem értek, így nem tudtam a tudását kihasználni.
Ezért tehát ez a teszt egy "out of the box" teszt, amelynél próbáltam a default configokat a saját környezetemre igazítani, a lehető legkevesebb módosítással.
Egy kivételt tettem, ez pedig az, hogy a szűrőket megpróbáltam azonos működésmódra állítani (ahol erre van mód, pld. dspam), hogy valamennyire elkerüljem az alma vs. kriptonit összehasonlítást. Sajnos azonban az alma vs. körte vádja ettől még helytálló lehet, a spamekben Neo-módra zöld karakterekkel leírt kriptik képleteket látoktól előre is elnézést kérek...

A szemétdomb és a módszer
A tesztben a saját leveleim vettek részt. Ezek legnagyobb része levelezőlistákról származik, és persze vannak benne banki értesítők, magánlevelek is. Kizárólag magyarul és angolul írok, viszont kapok német leveleket is (nem spamet).

A teszthez az előkészítés a levelezőszerver teljes lecsupaszításával kezdődött, kidobtam mindent, ami korábban volt (DNS, e-mail cím ellenőrzés, greylist, későbbi fázisokban spamszűrés), így maradt egy SMTP szerver, amely a címemre érkező minden levelet elfogadott (egyetlen feltétel az SMTP szabályainak betartása), megetetett a spamszűrőkkel, majd a megfelelő folderbe tette.

A spamszűrők mindegyike a nyers, eredeti levelet kapta meg, elkerülendő, hogy "egymásra tanuljanak", például olyan módon, hogy a láncban előrébb lévő spamszűrő által betett x-ez-spam: igen fejlécet megtanulja egy hátrébb lévő szűrő, így fals eredményeket produkálva.
Ez a szabály az osztályozásnál, és a tanításnál is érvényes volt.

A tanításra az ún. TOE (Train On Error) módszert választottam, amely lényege az, hogy csak akkor tanítunk meg levelet a szűrővel, ha az hibázott, egyébként nem. Értelemszerűen ez adja a legkisebb adatbázist, illetve ez az a módszer, amely nem úgy indul, hogy "végy 2500 spamet és nem spamet, és tanítsd meg velük a szűrőt".
Mindegyik szűrő egy valószínűséget számol, amelynek spam-nem spam határait az alapértékeken hagytam. A dspamet leszámítva mindegyik szűrő három kategóriába sorolja a leveleket: spam, nem spam, és bizonytalan. Az utolsó esetnél a levelet megetettem a szűrő tanuló funkciójával. Ugyanezt tettem a másik két esetben is, ha félreosztályozás történt (de erről pontosabban később).

A levelek életútja tehát a következő volt:
a levél áthalad a szűrőkön, amelyek mindegyike osztályozza azt. A levél ezután az osztályozás eredményeképpen három mappába kerülhet: spam, nem spam, bizonytalan.
A három mappába érkező levelek mindegyikét elolvastam, és szükség szerint a spam, vagy a nem spam mappába tettem őket.

Az eredményesség (hatásfok) mérése érdekében minden levelet megőriztem, és egy időtengelyre felrajzoltam a napi termés eredményeit (hány százalék spamet fogott meg az adott szűrő).

Aaand, liftoff!
Az első kísérlet meglehetősen katasztrofális lett.

Mint látható, a spambayes, a CRM114 és a bogofilter ígéretesen indult, azonban tartósan a napi 90%-os hatásfok fölé csak a bogofilter tudta magát felküzdeni.
A leglátványosabb csökkenés a CRM114 teljesítményében volt, míg a dspam beállt a 30-45% közötti sávba, ami elég gyatra, még a többiek mellett is.
Ezek az értékek bőven elmaradnak a statisztikai szűrőkkel kapcsolatban emlegetett 99% feletti találati arányoktól.

De nézzük tovább.
Az első, 33 napos adatgyűjtés során 22016 levelem érkezett, ebből 5849 spam. A számokból látszik, hogy arányaiban véve elég kevés spamet kapok -az iparági becslések jóval 80% feletti spam-fertőzöttségről beszélnek-, napi szinten az arányok a következőképpen néztek ki:

A bizonytalansági tényező alakulása:

Itt látszik, hogy a spambayes és a bogofilter elég hamar beállt arra a szintre, ahol már biztosnak gondolta a saját döntését, míg a CRM114 a kezdeti gyors javulás után igen hamar elbizonytalanodott.

Egy grafikon van még az első tesztből, ez pedig a spamszűrő második (van, akinek első) legfontosabb paramétere: a hibázási ráta.
Ha fontos leveleket várunk, inkább kapjunk be egy-két spamet, minthogy a szűrő a spam mappába (vagy a bitsink device-ba) küldje az értékes levelünket.

A false pozitív grafikon elég jó. A spambayesre nézve több, mint jó, hiszen amellett, hogy egész jó találati arányokat produkált, egyetlen levelet sem nézett be. A bogofilternél egy levél csúszott be hibásan spamnek (ez arra a napra kevesebb, mint 0,2%-nak felelt meg forgalomban), a többiek viszont rendszeresen hibáztak, bár egyre ritkábban.

Reload
A gyenge eredményeket elnézve átalakítottam a tanítást végző scripteket olyan módon, hogy figyelembe vegye a kézbesítéskor már lefutott osztályozás eredményét (nem újdonság, hogy a statisztikai szűrők rosszul veszik, ha ugyanazt a levelet sokszor megtanítjuk). Azaz ha egy levelet spamként akarok megtanítani a szűrővel, de a fejlécek szerint az a szűrő már felismerte benne a spamet, a tanítást kihagyom. Ugyanezt a hamekre (nem spam) is, természetesen csak ha az eredmény egyezik (ha az osztályozás hamnek mutatta, spamként megtanítottam, ha a levél végül általam abba a folderbe került).

Az átalakítás után újabb bő egy hónapos teszt következett, amely már jobb eredményeket mutatott:

A mezőny élén továbbra is a bogofilter és a spambayes van, bár a sorrend fordult az előző teszthez képest. Érdekes, hogy az "elvárt" 99% feletti hatásfokot csak ritkán sikerült megközelíteni.
A CRM114 eredményei sokkal jobbak lettek, ahogy a dspaméi is, utóbbi azonban még így is elmarad a többiektől. Ennek okát nem kutattam, de sejtem, hogy lennie kell (talán a TOE-módszer maga az), hiszen több helyen is olvastam már, hogy a dspam milyen hatékony.

Érdekes(?) módon amilyen jó hatással volt a spam találati arányra az "egyszeres tanítás", azaz a rátanítás mellőzése, olyan rossz hatással járt a false positive-okra:

Ebben a tesztben már a spambayes sem tudott "szeplőtlen" maradni, a dspam pedig egyenesen szörnyű volt, ráadásul -ez a grafikonból nem látszik- pont a legfontosabb leveleket találta spamnek.
A bogofilter viszont brillírozott a csapat tagjaihoz képest, egyetlen egy hibát vétett a 38 nap alatt.
Valamit valamiért, mondhatnánk, de a bogofilter példája azt mutatja, hogy lehet jó találati arány mellett kevés hibával is működni.
A második periódus alatt a mailboxom spam-fertőzöttsége százalékban így nézett ki:

A szűrők bizonytalansági rátája pedig így:

A tesztidőszak végére elég jól összeértek a számok.

Kombináljunk!
A grafikonokat elnézve gondoltam egyet, és készítettem egy összevontat is, ahol a spamszűrők eredményeit párban rajzoltam fel, logikai "vagy" kapcsolatba téve a spamtalálatokat (azaz ha bármelyik szűrő szerint spam a levél, az spamnek számít, ezzel értelemszerűen a false positive-ok száma is nő).
Ennek a megközelítésnek az alábbi lett az eredménye:

A leggyorsabb tanuló díja itt kétségtelenül a CRM114+spambayes párost illeti, amelyek ha minden nap nem is tudták megőrizni elsőségüket, azért átlagban is nagyon jól teljesítettek, még a 100%-ot is képesek voltak elérni egy nap.
Érdekes módon erre a "bravúrra" az egyébként legrosszabbul teljesítő CRM114+dspam páros is képes volt.

Az eredmények javulása azt mutatja, hogy érdemes lehet egyszerre több szűrőt is alkalmazni, persze észnél kell lenni, hiszen a hibaarány is nő ezzel. A legjobb persze, ha egy szűrő képes az általunk elvárt szintet hozni, de ha az nem 100 (és nulla hiba) százalék, annál mindig akarhatunk többet.

A hatásfok mellett még egy fontos tényező van, ez pedig a sebesség. A tesztelt szűrők által elfogyasztott CPU időket mindvégig mértem, mind a levelek osztályozásánál, mind pedig a tanításnál.
Az eredmény (vigyázat, logaritmikus skála!):

Számokban kifejezve:

bogofilter 534.7 97.77
crm114 7655.84 107.39
dspam 379.18 7.58
spambayes 18539 125.36


A dspam tehát veszettül gyors, a pythonban (illetve a CRM114 esetében a saját nyelvében) írt szűrő pedig lassú. Az eredményt azért árnyalja, hogy mindegyik alkalmazás levelenként külön lett meghívva, ez főleg az interpretált (spambayes, CRM114) megoldásoknál jelent kiugró hátrányt, a valóságban egy mai gép elég komoly forgalmat el bírna vinni bármelyik szűrővel.

Nigériában mikor van éjszaka?
A spamtalálatok hullámzása miatt kíváncsi lettem arra, hogy vajon mikor kapom a legtöbb spamet. Íme az eredmény, heti és napi bontásban:

A legkevesebb spam tehát vasárnap érkezik, utána a szombat, és a szerda jön. A legtöbb spamet csütörtökön adják fel. A napi bontásban számomra meglepő módon az európai "időszámítás" bontakozik ki, lehet, hogy ilyenkor élnek a spamek "éjszakai életet".

Verdikt
Mióta négy spamszűrőn keresztül megy végig az összes bejövő levelem, egyetlen spam sem került az inboxomba (került viszont pár fontos levél a spam folderbe). Vagy bizonytalan volt valamelyik szűrő, vagy spamnek ítélte, de amikor mindegyik egyetértett abban a kérdésben, hogy az adott levél biztosan nem spam, az úgy is volt.

Bár nekem a 99%-os szintet nem igazán sikerült hozni -lehet, hogy még mindig kicsi az adatbázis- a spammentes inbox gyakorlatban is megvalósult (cserébe három folderbe azért nem árt rendszeresen belenéznem). Mindezt kiegészítve a ma megvalósítható SMTP szintű szűrési megoldásokkal azt hiszem elég korrekt védelmet lehet adni ingyen is.
Amit viszont nem kapunk ezért a pénzért, az a tanítás, amit magunknak még csak-csak elvégzünk (az elején még akár jó móka is lehet figyelni a folyamatot, később pedig erre egyre kevésbé van szükség), de ha egy több mailboxból álló "flottát" kell védenünk, az általunk betanított szűrő szinte garantáltan sok fejfájást fog okozni, ha másokon alkalmazzuk.

Ha nyertest kellene hirdetni, a spambayest tenném a dobogó tetejére, ami számomra azért meglepő, mert a szoftver öt éves. Azonban a többi programot sem írnám le (sőt!), hiszen a CRM114 és a dspam "mélyén" rengeteg tudás van, csak megfelelő kezek kellenek ahhoz, hogy mindez felszínre jöjjön.