A spam szűrőink hatástalanná válnak?

Security-all

Mostanában kezd elharapózni az a tendencia, hogy a spammerek a reklámszöveget a levélbe beszúrt gif, jpeg képfájlban adják elő.

Az ilyen spam-ek alig nagyobbak mint a hagyományos, szöveges spamek (<20k), viszont akadálytalanul átjutnak a spamassassin-on, mert az a képfájlokba nem néz bele, a mai, botnetes időkben pedig a dnsbl elég rossz hatásfokkal működik.

Gondolkodtam valami egyedi ocr megoldásban (gocr vagy ocrad ráuszítása a kis képmellékletekre), de szerintem reménytelen, mert ezek a kezdetleges ocr programok egy gradiens, vagy négyzetrácsos képháttéren írt szöveghez hozzá se lőnének.

Nincs más hátra, mint belenyugodni, hogy a spamek ezentúl akadálytalanul átjutnak a szűrőinken, vagy esetleg erre is van már valami válasz a spam szűrők részéről?

  • 1754 megtekintés

( rigidus | 2006. 02. 17., p – 04:24 )

Par honappal ezelott volt egy beszelgetes itt a hupon errol, en mar akkoriban kiserleteztem a gocr-rel es arra jutottam, hogy nem megoldas.

IMHO az egesz email rendszer ugy xar ahogy van. Ideje lenne teljesen uj alapokra fektetni es egy uj uzenetkuldo rendszert kidolgozni nyilt szabvanyokon.

A spamfilteresdirol meg a velemenyem nem valtozott: az egesz egy ideiglenes workaround es baromi rossz hatasfokkal mukodik.

Legutobb egy szamlalevelemet hajitott ki, elotte meg egy allasajanlatot ami 2 utcaval feljebb volt, koszonhetoen mindezt a szolgaltatom force-spamfilterenek amit kikapcsolni sem lehetett.

---------------------
Ригидус а бетегадьбол

nekem tokeletesen megfelel, ami van, csak nem kell kiadni emailcimet sehova, es senki olyannak aki megbizhatatlan. es kulon emailcimet kell csinalni, ha nokkel levelezel, mivel szinte mind kiadja cimedet. pl.: forwardol buzisagokat, igy szabad preda lesz az emailed. nekem igy meg 1 db spam sem erkezett arra az email cimemre amelyikre a fontos uzeneteket kapom.

En is vigyazok az email cimeimre. Van 5 cimem es hetente, atlag 1-2 erkezik ami sztem meg elfogadhato.

De eppen ma volt tema, hogy bekaptam egyet pont arra az email cimre amire nagyon nagyon vigyaztam: http://www.hup.hu/node/22165

---------------------
Ригидус а бетегадьбол

"Legutobb egy szamlalevelemet hajitott ki, elotte meg egy allasajanlatot ami 2 utcaval feljebb volt, koszonhetoen mindezt a szolgaltatom force-spamfilterenek amit kikapcsolni sem lehetett."
Ez tényleg felháborító.

Én magam mindig is azt tartottam szem előtt, hogy a spam szűrés miatt egyetlen levél sem veszhet el. Éppen ezért csak a legkiemelkedőbb spameket tartóztatom fel a szerveren, és azok is csak egy szemetesbe kerülnek, amit ürítés előtt mindig átnézek (napi 15 perc elfoglaltság).
A spam-gyanús leveleket viszont csak megjelöli a szerverem, és a felhasználó szíve-joga eldönteni, hogy a mail kliensén beállít-e egy szűrő szabályt az ilyen levelek külön kezelésére.

Én csak annyit vállalok, hogy a postafiókok spam terhelését jelentősen csökkentem, a teljes spam mentesítés lehetetlen; és ezért nem is lehet reálisan kitűzött cél.

Viszont ha ez a képben prezentált reklámszöveg egyeduralkodóvá válik, akkor a spamassassin és a hozzá hasonló szűrők teljesen hasznavehetetlenek lesznek, és a spam-eknek csak egy elenyésző töredékét fogom tudni a szerveren blokkolni :-(

Anno nem kerestél/találtál véletlenül egy olyan parancssori progit, ami képes egy kép hátterét automatikusan eltüntetni, és csak a rajta lévő szöveget meghagyni?

Ha lenne egy ilyen progi, akkor annak a támogatásával akár még egy gocr vagy ocrad is csodákra lehetne képes...

( szaszg | 2006. 02. 17., p – 06:32 )

Nem ertem ezze mi a problema, en eddig is utaltam, ha valaki kepet kuldott levelbe... gif?, jpg? bmp? => kuka

Zsiraf

p.s.: milyen egyszeru lenne a spam-szures, ha csak kepfile-okba kuldenenek spam-et :-)

"Nem ertem ezze mi a problema, en eddig is utaltam, ha valaki kepet kuldott levelbe..."
Ha nem érted, mi a probléma, akkor minek szólsz hozzá?

Ha te rendszergazda lennél, kíváncsi lennék, vajon meddig halászgatnád elő a kukádból a user-eknek levélben küldött fontos szkennelt dokumentumokat/fényképeket/kapcsolási rajzokat?

Ráadásul előbb-utóbb valakinek eszébe jutna odafent, hogy mennyivel egyszerűbb lenne az élet egy ilyen rendszergazda nélkül...

"addig szukseg van meg az olyan rendszergazdara is, mint amilyenre Te gondolsz "
Ha ezen olyan rendszergazdát értesz, aki pl. az összes levélben érkező képet a kukába dobatja, akkor súlyosan tévedsz.

Egyébként pedig rendszergazdaként is maximálisan egyetértek a user-ekkel abban, hogy tízezer spam megcsípése sem szolgálhat mentségként akárcsak egyetlen egy hasznos levél eldobására sem.
Hogy miért? A spam szűrés csak kényelmi célokat szolgál, egy fontos levél eldobása viszont akár súlyos anyagi következményekkel járhat. Ez nagyon nagy különbség.

Továbbá: a rendszergazda sem nem Isten, sem nem parlamenti képviselő, hogy a rossz döntéseiért ne tartozna felelősséggel. Ezt jobb most megjegyezni, mint később a saját károdon megtanulni.

"Egyébként pedig rendszergazdaként is maximálisan egyetértek a user-ekkel abban, hogy tízezer spam megcsípése sem szolgálhat mentségként akárcsak egyetlen egy hasznos levél eldobására sem."

1)
A spamassassin nem szokott tévedni, nem hasraütésszerűen szűr. Ez igaz általában a többi szűrőre is. Ha valamire azt mondja hogy SPAM akkor annak van ám oka is.

2)
Mindig vannak user-ek, akik nem arra használják a levelezést amire való, a rendszergazda dolga ezen változtani, hogy milyen módszerekkel, az egyéni szoc. Per pill az RFC szerint beállítasz egy levelezőszervert, az fix hogy nem fog menni, ezt pedig köszönhetjük a hozzá nem értő, "Mi az hogy ezt nem kéne? Én arra használom a levelezést, amire akarom, úgy ahogy akarom, a Te dolgod hogy menjen, ha nem megy akkor sírok a főnöködnek és kirúgatlak" stílusú usereknek.

3)
Az egész rendszer úgy s**r ahogy van.

"A spamassassin nem szokott tévedni, nem hasraütésszerűen szűr."
Ebben mélyen igazad van: nem a spamassassin, hanem TE tévedsz, amikor ahelyett hogy rendesen bekonfigurálnád, alapbeállításban hagyod. Ugyanis meg van adva, hogy az egyes beállításainál milyen hatékonyság mellett mennyi fals pozitív eredményt ad.
A spamassassin "gyárilag specifikált" tévedései pedig nem (csak) a spamassassint minősítik, hanem ezek szerint téged is, aki mégcsak észre sem veszi őket.

Egyébként pedig a spamassassint nekem ne mutasd be, mert négy éve használom (az utóbbi két évben bayesdb-vel - már ha egyáltalán tudod mi az), és ezalatt több százezer levelet szűrtem át rajta. Úgyhogy pontosan tudom, hogy mit ér: nem lehet rá hagyatkozni. Mint ahogy a többi spam szűrőre, és a dnsbl-re sem.

Egyébként azért jók az ilyen hitviták, mert az is hozzá tud szólni, aki nem ért hozzá.

Most viszont már kíváncsi lennék egy hozzáértő véleményére is arról, hogy mit lehet tenni, ha a spammerek nagyon rákapnak a képfájlban üzengetésre.

Ezek szerint mi nem ertunk hozza. Bocsanat mester, hibaztunk.
Az olyan ceg, aki fake mailektol teszi fuggove az uzletmenetet, az no comment. En nem preferalom a spam szurest, aki nem rendeltetesszeruen hasznalja a ceges cimet (levlista, magan celu mail idegenekkel), az magara vessen. Ennelfogva pont nem erdekel, hogy a spammerek milyen modon probaljak meg kijatszani a szurest. Ha pedig mar tul sok spam jon, akkor vagy a cimet kell atirni, vagy a usert kirugni, nem az admint.

"Ebben mélyen igazad van: nem a spamassassin, hanem TE tévedsz, amikor ahelyett hogy rendesen bekonfigurálnád, alapbeállításban hagyod."

Azt max csak hiszed, hogy Én tévedek ;)

"Ugyanis meg van adva, hogy az egyes beállításainál milyen hatékonyság mellett mennyi fals pozitív eredményt ad."

Abból kiidulvan hogy aki ért hozzá és be tudja konfigolni a spamassassint, annak a szerverén nem ad ám olyan sok "fals pozitív eredményt", inkább nézd meg, hogy a "fals pozitív eredményt" miért produkálta, mielőtt a nagy hozzáértésedet, és mások hozzá nem értését firtatod. Csak megjegyzem, hogy alapbeállításnál sem mondja azt mindenre hogy SPAM, akik csinálták az alapbeállítást valszeg egy picit jobban vágják a témát mint te. Ez persze nem jelenti azt hogy nem kell rajta változtatni.

Ja és nézd meg mit is jelent a "fals pozitív eredmény" valójában.

"A spamassassin "gyárilag specifikált" tévedései pedig nem (csak) a spamassassint minősítik, hanem ezek szerint téged is, aki mégcsak észre sem veszi őket."

:D Igen mester. Bocsánat, hogy szóltam.

"Egyébként pedig a spamassassint nekem ne mutasd be, mert négy éve használom (az utóbbi két évben bayesdb-vel - már ha egyáltalán tudod mi az), és ezalatt több százezer levelet szűrtem át rajta. Úgyhogy pontosan tudom, hogy mit ér: nem lehet rá hagyatkozni. Mint ahogy a többi spam szűrőre, és a dnsbl-re sem."

Nem kötelező használni.

"Egyébként azért jók az ilyen hitviták, mert az is hozzá tud szólni, aki nem ért hozzá."

:D ez bizony így van.

"Igy mindenkinek jobb, mivel kevesebb virust kaptok be levelezo rendszeren keresztul."

Ez így tényleg sokkal jobb, mert webes feltöltés útján mégiscsak más érzés vírust kapni. :-)

Bocs, meg ne sértődj, de ez így ahogy fogalmaztad igencsak nagy zöldség, magas labda volt.

Egyébként pedig ne mossuk már itt össze a spam szűrés kérdését a vírusszűréssel, mert ez két teljesen különböző dolog; az egyik kényelmi kérdés, a másik meg biztonsági.
A szűrő rendszerünkben is két külön modul felelős a két dologért, teljesen más "szigorúsági fokkal".

A vírusszűrés kérdésében már "kérlelhetetlen" vagyok: minden végrehajtható fájl karanténba (három napra), és minden dokumentum (a képek is) vírusellenőrzésre kerül. A karanténból ugyan egy webes felületen keresztül idő előtt is kikérhető a fájl, de csak súlyos figyelmeztetések árán (regisztráció, felelősség emlegetése, stb.), és úgy, ha a user legalább az elmaszkírozott fájlnevet be tudja korrekten pötyögni.
Utóbbi már megszűri a mezőnyt :-)

( uid_3194 | 2006. 02. 17., p – 13:25 )

Nos őszintén szólva én meg a kemény spam szűrés híve vagyok. Pontosabban azé, hogy már a levelező szerver se vegye át a gázos leveleket. Így aztén igyekszem mindent betartatni a küldőkkel lásd pl FIX IP, rendes DNS, rendes HELO,stb. Erre jönnek az RBL-ek (lehet vitatkozni a hatékonyságok) és még ez az utána.
A spam szám a 140/nap/cím -ről a szűrés megkezdése után 1-2/nap/cím-re esett.
Na most persze felmerült a gond a cég üzleti partnereinek a szarul beállított szervereivel. (köztük neves informatikai céggel is) Erre számítottam is, ezért minden eldobott levél 5XX-es kódot ad vissza a feladónak. Ennek az az előnye, hogy azonnal látják a küldők, hogy nem jött meg a levél. Amennyiben ez spam, hát ez van. Amennyiben létező üzleti partner, úgy megereszt egy telefont a munkatársnak, hogy "valami szar nálatok, mert nem tudok levelet küldeni hozzátok".
Erre user szól nekem (küld mailt, stb), én megnézem a naplót és felhívom a küldő céget és kérem a rendszergazdát. Ő lehülyéz, elmondja, hogy máshova megy a levél csak hozzánk nem, stb. Én elmondom, hogy mi a gond a szerver beállításaikkal. Innentől fogva a; megjavítja és minden tök jó, plusz egy rendesen beállíott szerver a neten b; nem csinálja meg, erre én felveszem a kivétel listára. Mindkét esetben jön tőlük már levél. Az új szerver első 2-3 hetében kellett csak sokat intézkednem, azóta havi 1 cég az átlag. Azt meg el lehet intézni. Persze az userek fel kell készíteni erre.

Szóval én így csinálom. Vesszem a SPAM!

Üdv: M.

http://www.pingit.homelinux.org a megoldás.

enugyan csak halovanyan vagyok erintett a dologban, de egyik megrendelonk pl azert kert weboldalt egy hirlevelnek, mert a kimeno levelekbol a szerveruk kiszedi a csatolmanyokat es a html es js kodokat, igy csak a puszta szoveg latszik. drasztikus? igen. hatekony? igen. a hirlevelben meg csak annyit kaptak, hogy XY Newsletter, Click here to see the newsletter: http://...

a befele jovo agon pedig: ha csatolmany van a levelben megy vissza feladonak, hogy ezt a kliens nem tudja fogadni, csak plain textet, ha akarsz vmit, akkor alkalmazkodj. minden egyebet ftp-n csinálnak.

A levélfogadási alapelvek elejében egyetértünk, viszont az rbl-t már gázosnak találtam, mert ezzel már több értékes levél is veszhet.

A spamszűrésre egyébként kíváncsiságból csináltam egy friss statisztikát, a ma hajnali egytől mostanig tartó fél napra (benne az éjszakai "spam szezonnal"):

Bejövő levél összesen: 302
Spamként felismerve és leválasztva: 145
- ebből téves találat: 0
Spamként megjelölve, de továbbengedve: 70
- ebből téves találat: 0
Fel nem ismert spam: 5 (ebből 4 az a bizonyos képfájlos spam)
Értékes levél: 82

Abból, amit közöltél, úgy látom, hogy a felismert spam-ek aránya nagyjából azonos lehet nálad, és nálam (97-98% körüli).

Én ugyan valamit könnyítek a felhasználók spam terhelésén azzal, hogy a legnyilvánvalóbb spameket (a spamek többségét) már a szerveren eldobatom, de azen túlmenően alapvetően a felhasználókra bízom a döntést, hogy milyen spam politikát szeretne magának:

Ha egy user szigorú spampolitikát akar, akkor dobassa el a mail kliensével a szerverem által spamként megjelölt leveleket és kap egy 97-98% körüli spam szűrést, cserébe viszont megnyeri az értékes levelek eldobásának kockázatát; a felelősség az övé.

Ha egy user óvatos spam politikát akar, szűretheti a mail kliensével külön mappába a szerveren spamként megjelölt leveleket, és időnként átnézheti, hogy nincs-e közte értékes levél is (most nem volt, de néha azért akad egy-egy). Ez ugyan munkás, viszont cserébe teljesen biztos lehet abban, hogy értékes levele nem veszik, mert a szervertől megkapja a "necces" leveleket is.

A különbség tehát leginkább abban van, ahogyan a userekkel bánunk: míg te rájuk erőlteted a magad spam politikáját, addig én rájuk bízom a döntést, hogy mit akarnak; de a döntéssel járó felelősség is az övék.

Amit alapvetően megvalósítottam, és évek óta jól működik: ahol a kényelem a tét (spam), ott a felhasználón a döntés és a vele járó felelősség, ahol a biztonság (vírusszűrés), ott rajtam (karantén). Ezáltal bármelyik user a két legfontosabb dologban bármikor biztos lehet:
A) A szerveren értékes levele nem akadt el (négy év alatt majd 1 millió levélből egy se)
B) Vírus nem lehet a levelében, mivel a végrehajtható mellékletek ellenőrzés nélkül karanténba kerültek.
Az eredmény: négy év teljes vírusmentesség közel egymillió levél és 60 OutlookExpressz kliens mellett. (Azazhogy volt 4 vírusfertőzés, de mind a Freemail webes felületétől - viszont egyik esetben sem tudott másik fiókra átterjedni.)