17 spamszuro tesztje a PC World-ben - magyar termek a legjobb!

A Yellowcube oldalan utotte meg szememet valami hasonlo nevu PC World cikkrol szolo blog. Tegnap irtam is egy megjegyzest a teszt eredmenyerol es modszererol. Ma reggelre azonban eltunt a hozzaszolasom, es az ominozus Yellowcube blog read-only-ra valtozott. Valoszinuleg arhatott a megjegyzesem az MPP Desktop 1. helyezesenek. Azonban a firefox history-jabol vissza tudtam allitani a velemenyemet, es a sajat blogomban vagatlanul tettem kozze. Irok az ujsagcikk irojanak is, kifaggatom a reszletekrol, amelyek (esetleg) nem fertek bele a cikkbe.

Hozzászólások

Látom beleástad magad ebbe a spam témába. Mi most éppen azon vagyunk, hogy spamszűrőt cseréljünk, mert a jelenlegi Symantec BrightMail drága. Azon gondolkodunk, hogy bevezetünk egy Barracuda-t, mert az olcsóbbra jönnek ki (per készülék a licencelése, a per mailbox helyett).

Esetleg hallottál már róla jót / rosszat?

--
trey @ gépház

Mindenkeppen erdemes kiprobalnotok, mielott megvasaroljatok. Az alabbi oldalon egy eval unitot tudtok kerni.

https://www.barracudanetworks.com/ns/products/request_eval_unit.php?pro…

Egyszer elkovettem egy nemileg bosszus blogot egy norveg illeto kapcsan, aki Barracudat hasznal. Grof Istvan fuzott hozza egy hasznos kommentet (o valoszinuleg testkozelbol ismerheti a Barracudat - de sajnos az email cimet nem hagyta meg).

Bar en a statisztikai alapu szuroket preferalom, de vegso soron egy dolog szamit: nektek bevalik vagy sem. Ennek eldonteseben pedig az eval unit sokat segithet.

ASK Me No Questions, I'll Tell You No Lies

Hmm.. Elolvastam a blogodon lévő bejegyzést.. Számomra viszont nem jött le tisztán, hogy ezért a PC-WORLD-nek miért kelett levennie a cikket.. Én inkább örültem volna, ha egy cikkemre ilyen értelmes választ kapok egy !pistike-RG szintű embertől, aki tényleg bele is ásta magát olyan mélyre, hogy viszonylag valós véleményt tudjon adni az adott témával kapcsolatban ( azt meg sztem a Pc-World-ösök is beismerik, hogy van mit tanulniuk bőven ( sztem)). Mindenesetre azért örülök, hogy ezt így megörizted a blogodon, és kiraktad..

Viszont kérdés: A közeljövőben nem akarsz csinálni egy saját statisztikát, hogy milyen programmal / eszközzel milyen hatékonyságot lehet elérni mondjuk 1 / 2 / 3 hónapnyi betanítás után, szemben egy statikus adatbázisú spamszürővel ( már ha nincs ilyen statisztikád eddig )?.. Eléggé érdekelne az eredmény, bár bevallom postfiler, spamassasin (és 1-2 hozzávaló pl. razor ) szinten mentem csak bele a dologba, viszont a téma erősen érdekel engem is.
____________________________________
Az embert 2 éven át arra tanítják hogyan álljon meg a 2 lábán, és hogyan beszéljen... Aztán azt mondják neki: -"Üllj le és kuss legyen!"..

Nem a PC World vette le a cikket. Az ujsagban megjelent a cikk. Mivel az 1. helyre hoztak ki az MPP Desktopot, ezert a Yellowcube (az MPP Desktop keszitoinek blogja) miert ne irta volna ezt meg a _sajat_ blogjaban. En pedig ott szoltam hozza, a bloghoz (nem az ujsagcikkhez). Maga a blog is megvan, de a hozzaszolasom tunt el rola.

Eddig az alabbi teszteket vegeztem:

Cloudmark Desktop-ot: http://sj.acts.hu/?p=83

Egy szurkelista megoldas: ez egy bizonyos gepen 95% felett szuri a spamet, a postgrey-rol irtam egy cikket a Linuxvilagba: http://sj.acts.hu/?p=12

SpamAssassin (razor nelkul): nem volt fals pozitiv hiba 867 levelnel, ill. 1955 spamnek ~71%-t ismerte fel. Azonban eleg lassu (spamc/spamd esetleg segithet ezen valamit), ezert nagyobb kornyezetbe nem javaslom.

Hallottam meg egy tesztrol, amit John Graham Cunnings vegzett. Bodis Akos (Yellowcube/MPP) hivta fel ra a figyelmemet, amikor egy masik blogjaban csereltunk eszmet, de annak a parbeszednek is annyi, azt is eltavolitottak, az url-t pedig nem talalom (valahol a www.jgc.com alatt lehet). A Virus Bulletin-en egy 2005 vegi cikk van JGC-tol http://www.virusbtn.com/spambulletin/archive/2005/11/sb200511-filter-ac…, dehat azota jo 1,5 ev eltelt mar.

Ha van konkret termek, ami erdekel (es beszerezheto eval/demo/trial belole), kiprobalom, es elmondom velemenyem rola.

ASK Me No Questions, I'll Tell You No Lies

Valahol korábban szerintem már utaltam rá, de akkor is itt jelzem. Én bogofilter-t ( bogofilter.sf.net ) használok és nagyon meg vagyok elégedve vele, de azért érdekelne, hogy más mit tart róla - illetve másnak mennyire tűnik jónak. Ha egyszer lesz kedved, akkor akár meg is nézhetnéd.

Az MPP-nek elkuldott (csak) spam leveleket elkuldtem a bogofilternek is (tanitas utan). Ime az eredmeny:

2645 spam levellel vegeztem a tesztet, ebbol default konfig (spam_cutoff=0.99) eseten: 2295/2645=86.76% felismeresi aranyt ert el. Ez azonban nagyon fals pozitiv kerulo beallitas, csak a >=99% valoszinuseggel spamnek ertekelt levelet jeloli meg.

spam_cutoff=0.92 eseten mar sokkal realisabb erteket kaptam: 2501/2645=94.55%

A tesztrol meg annyit, hogy nem egeszen a blogban leirt modszer alapjan tortent (3-6 honap gyujtes, utana teszt). Hanem azt a levelhalmazt vettem, amellyel egy masik szurot is tanitottam (bar az a levelhalmaz folytonos, csak eppen 2005 novembertol kezdodik, de a teszt spam halmaz idei).

A mukodese gyors, 1 apro gond lehet vele, a db formatum. A Berkley DB-rol hallottam, hogy hosszu ido alatt hajlamos korruptta valni. Azonban ezt igyekszik elkerulni a bogofilter tranzakciok hasznalataval, ill. ugy lattam, hogy mas backend-et is tamogat. Az adatbazisaban azonban csak sima szavak (=tokenek) szerepelnek, token parok nem, pedig ezekkel jobb lehet a pontossag.

Majd egyszer a ham-ek tekinteteben is keszitek egy tesztet. Kellemes feature benne, hogy minden beerkezo level egyben tanitani is kepes a szurot, ami hasznos az uj es modosulo spamek felismereseben. Ezt nem vizsgaltam a bogofilter ugyeben, de egy hasonlo funkciot jelenleg tesztelek egy masik termekben.

Ha az eredmeny kisse szerenyebb volt, mint amit elvartam tole, de megis jonak mondom, mert ez is az inverz chi-negyzet algoritmust hasznalja, es kepes arra, amire a nem statisztikai szurok nem: tanulasra. Ez adja az igazi erejet.

szerk: kiprobaltam az ESF nevu feature-t. A bogotune javasolt beallitasait alkalmazva rendkivuli mertekben megnott a pontossaga: 2635/2645=99.62%. Na ez mar valami!

ASK Me No Questions, I'll Tell You No Lies

> A mukodese gyors, 1 apro gond lehet vele, a db formatum. A Berkley DB-rol hallottam, hogy hosszu ido alatt hajlamos korruptta valni...ugy lattam, hogy mas backend-et is tamogat.

Megneztem. Minimum qdbm -et es sqlite3-t tamogat (ez utobbi nem tudom milyen fajlformatumot hasznal, asszem valami sajatot).

Korrigaltam azt a nagyszaju 99.9%-os erdemenyt a blogomban, mert az az osszesitett ertek. Ha csak a spam felismeresi erteket tekintjuk (mert a 95.96% is erre vonatkozik), akkor az en szamom ~99.77%, ami csak 17.5x jobb ertek, mint a 95.96%. Veletlen volt, becsszo! :-)

ASK Me No Questions, I'll Tell You No Lies