Email server levélszűrő teszt

Security-all

Sziasztok!

Mostanság milyen eszközt ismertek, amivel tesztelhetném az email szerverünk üzenet szűrőjét?

Itt arra gondolok, hogy meg kellene szórni egy valamilyen virus/spam adatbázisból, és megállapítanánk hányat szűr ki és hányat nem.

Természetesen pl. a saját email állománnyal is tesztelném a "false positive" arányra.

Létezik ilyen adatbázis?

Régebben mintha láttam volna, de most a google találatok tele vannak fizetős auditokkal/security tesztekkel, amik nem igazán ezt hirdetik.

Ötletek, ingyenes, fizetős de bullshit mentes megoldás?

  • 704 megtekintés

( xzsolt | 2022. 10. 10., h – 12:49 )

Ebben csak azt találom, hogy hogyan csináljam, azt nem látom van-e ehhez "spam adatbázis".

( ggallo | 2022. 10. 10., h – 17:16 )

Erre egyébként miért van szükség? Hogy lásd, egyáltalán működik-e, vagy a "jóságát" akarod tesztelni?

Azért kérdem, mert a működése aránylag gyorsan (perceken belül) kiderül, ha ráengeded a forgalmat. De, hogy tényszerűen átmegy-e a szűrőn a levél azt (konfigtól függően) tesztelheted egy localhost-ról küldött nem-spam levéllel is.

A jósága meg csak némi éles üzemi megfigyelés és finomhangolás után lesz megfelelő, elsőre nem lesz a legoptimálisabb akármit csinálsz. Variálnod kell, a hozzád érkező forgalomra melyik RBL a legjobb előszűrő, és utána valószínű az egyes találatok pontozásán is finomítani kell majd. Ráadásul ez idővel majd változik, nem lehet belőni és örökre elfelejteni, a spam szűrés nem egy statikus dolog.

Még azt tenném hozzá, hogy azzal mindenképp számolni kell, hogy lesz olyan 0day malware/phising ami át fog jutni, pláne akkor, hogy ha magyar nyelvű. A felhasználók képzése nem spórolható meg, se a végponti vírusvédelem, illetve "security solution" már mint teljesen megoldás.

> lesz olyan 0day malware/phising ami át fog jutni

biztos, de ha jol van osszerakva (heursztikus viruskereso, neuralis halos spamszures stb) akkor nagyon de nagyon keves

> felhasználók képzése nem spórolható meg

ez igaz, de sajnos tok folosleges, mindig lesz aki esz nelkul kattintgat, mind1 hanyszor es hogy oktatod :(

Jött már át guglin, és office365-ön is, és egy "jónapot kívánok itt a számla" c. emailt roppant nehéz kiszűrni, lehetsz te szuperheurisztikus, meg neurális.

A képzés sosem fölösleges, mert ha 2-3 ilyen után mégis félreklikkel az illető, akkor azért nem mondhatja azt, hogy "dehát ő ezt nem tudta".

A képzés nyújtása egyeseknél eredményes (onnantól figyel, és legalább kérdez, ha nem biztos a teendőben), másoknál meg arra jó, hogy övé legyen a felelősség az okozott kárért. Ez utóbbi pedig egyre fontosabb, mert az emberek előszeretettel nyomják beleszarom hozzáállásból adódó probléma felmerülésekor az "én nem tudtam" és "nem vagyok én informatikus" dumát.

Nem utolsó sorban azért is kell a képzés, hogy olyan levelet írjanak, amit nem fog meg a spam szűrő (mert annyira szar tartalmilag-műszakilag), és ezen rossz gyakorlat miatt a könnyebb utat választva ne kérje a főnök/tulaj a spam szűrő "gyengítését", hogy az ügyetlenek (lusták) legitim levelei is átjussanak rajta - ami sok más, káros levél átjutását is eredményezi olykor.

Meg ezen felül a mai világban olyan tökéletesre csiszolt spam levelek jönnek, hogy egymásnak átküldjük mutatóba azzal, hogy ha nem lennne benne X vagy Y ici-pici hiba, mi is benyalnánk, nem még a spam szűrő vagy az egyszeri user...

Jah, sokan ülnek itt magas lovon az üzeneltetői elefántcsonttornyaikban. Közben meg egy átlag nagymultiban jön annyi helyről annyi fajta 3rd party szar, hogy pislogni nincs időd 2 beérkezése között. Pl mert a céged kiszervezett mar a vilagon mindent külső, nemsajátdomain-es címen futó szolgáltatasba, hogy kis túlzással minden héten máshonnan kapod a bérszámfejtős papírodat, szabadságnyilvántartós jóváhagyó üzenetet, a kafeteria összekattintgatót, a héten webex vagy zoom a céges videókonferencia standard szolgáltatója? Plussz külső ügyfelek al-al-al-al-alvállalkozó beszállítója egy kutyaközönséges privát xxxbigdick928 gméles címről küldi a nem várt dokumentációt... És én még ITs munkát végzek, tehat tudom mit kéne nézni. Mikor a kibaszott o365-s témában dőlnek a mindenféle basztatások, figyelmeztetések, lejár a kurva serpoint oldalad 1 nap múlva ASAP nyilatkozz h. kell-e még, mert különben azonnal törlésre kerül! Így próbálj meg nem beszopni egy o365-ösnek álcázott phishinget.

Egy könyvelő, asszisztens a mindenféle számlákat, invoice, BOM és kutyafaszát aztán kapja a 3dimenzió minden irányából. Ott legyél okos, hogy a 15 ezer ügyfél legitim forgalmában hogyan szüröd ki azt az 1 db ekszelt, amiben phishing macró van.

Pedig ez máshogy nem fog menni. Minden szinten kell védekezni. Ahol ekkora őrület van, ott nem biztos, hogy fontos dolgozni, valszin létezik normálisan dolgozható munkahely. Ráadásul, ahol ekkora őrület van, az rögtön magában kódolja az ilyen-olyan problémákat, mert mindenki kapkod, feszült, nem tudja micsinál, jajjúristen 16 emailt kaptam, jujujuj. Wtf... Ha pedig csak a pénz számít a kedves dolgozónak, mert itt már bőven 7 számjegyű a zseton, hát akkor ez van, pörögjön, és égesse ki magát.

Szóval egyre jobban összefüggenek dolgok, és nem biztos, hogy ájtira kell mindent is rátolni, mert ménem szűrte ki, miét az X vagy Z gyártót vett (kettőt vettünk főnök, egyik típus a levelezést szűri, másik meg az endpointon, meg közben van IDS/IPS szuperszigoron is olajozott villámként hasított át...), osztán a kedves juzer előtt csak szemlesütve megyünk majd, "még ezt sem tudjuk megoldani" polóban. Hát persze...

A phising macrót valszin aláírás alapon, meg csatolmány vizsgálattal relatív könnyű szűrni. Egy magyar 0day (0hour?) klikkelős linkes dolgot jóval nehezebb lesz, mert a valamilyencegneve.magyartld -s phising/malware/mindentfelszippantó cucc nagyon lassan fog bekerülni a tetszőleges szuperszűrőkbe. Láttuk a bankos emaileket, a nav nevében küldöttet, a mindenféle közművek üfszolgos emailnek kinézőket.

Eközben tökre jó lenne a következőket elérni:

- a gmailre (felhős szolgáltatások) felé email továbbítást mindenképp felejtse már el mindenki, vegyék fel fióknak, és máshova se továbbítsanak

- ha már felhőznek, akkor vegye a kedves ájti admin a fáradtságot, és tiszteljen meg minket azzal, hogy rendesen beállítja az SPF rekordot, és egyéb kapcsolódóakat

Nem beszélve arról, mikor a teljesen legitim, nagy (nevű) cégtől vagy állami szervtől érkező levelet az égbe pontozza a spam szűrő, mert annyira rossz műszakilag (pl. DKIM aláírás _után_ a végére dobjuk, hogy "ne nyomtasd ki és különben is bizalmas infó"). De a user-nek nagyon fontos megkapnia (nyilván), oldjuk meg, hogy ezt engedje át a spam szűrő, de az ugyanilyen nevű/című, de csalós feladótól meg ne (mikor a csalós feladó szervere műszakilag jobban működik, mint az igazié...).

A küldő fél presze semmi nem változtat, mert ez policy/mindenki másnak jó/kiszervezett/stb.

Saját üzemeltetésű szervert állítottunk be, a migrálás előtt meg kellene vizsgálnunk ebből a szempontból is, hogy megfelelően be tudjuk állítani, illetve meggyőződjünk a kiinduló állapot egyáltalán milyen szinten van.

A többit amit írtál az ismert tény, de nyilván nem karjuk élesbe helyezni amíg nincs róla összképünk és nem tudjuk hogy hogyan reagál a konfiguráció változtatására.

( xzsolt | 2022. 10. 11., k – 06:27 )

Az eredeti kérdésre is tudnátok valamilyen megoldást?

Most nem a felhasználók viselkedése lenne érdekes, azt én is tapasztalom, sajnos.

Részemről sohasem futottam bele 20 év alatt ilyen minta adatbázisba, amit rá lehet engedni egy rendszerre a teszelés céljából. Tény, hogy direkt ilyenre sose kerestem rá, de amennyit foglalkoztam eddig (főleg open source alapokon nyugvó) levelező szerverekkel, már kellett volna olvasnom róla, ha létezne ilyen és használnák a szakik.

en sem tudok ilyenrol, pedig 20 eve ezzel (spamszuressel) foglalkozom...

spam corpus-ok (minta gyujtemenyek) leteznek, de a publikusak nagyon regiek es elavultak, a frissebbeket nem szivesen teszik kozze. nekem is van sajat 100k emailes gyujtemenyem, gondoltam mar ra hogy publikalni kene, de ahhoz elso korben anonimizalni kene, ami nagyon nem trivialis feladat.

de szures tesztelesre ez is keves lenne, mert a spamszures kb 90%-ban nem a level tartalmaval foglalkozik, hanem az erkezes korulmenyeivel (kuldo ip cime, helo, (rev)dns, rbl listak/blacklistek, smtp protocol betartasa, greylisting stb). en legalabbis a spam levelek kb 90%-at mar ezekkel megfogom meg mielott a level tartalmat latta volna. a maradek 10% megy csak at alapos elemzesen, ez igy eroforras kimelobb is...

szoval en is azt tudom mondani, elesiteni kell a szervert, raengedni az eles mx forgalmat, lehetoleg olyankor amikor sok spam de minimalis ham level varhato (mondjuk vasarnap hajnalban) es figyelni nagyon a logokat...

Szia arpi_esp,

értem amit írtál és nagyrészt rendben is van egyetértek,

de érzek némi önellentmondást a 90/10%-ban, illetve, ha 90% nem a levéltartalomra megy, akkor a személytelenítést nem érzem problémának, mert azt mondod mindegy a tartalom.

Illetve a "technikai" ellenőrzés (kuldo ip cime..) külön problémakör az most nem is kérdés.

Összességében, ha nincs jobb lehetőség akkor az marad amit írtál, nekünk is ez volt a tarsolyunkban, egy próbát megért hátha van jobb.

> a személytelenítést nem érzem problémának

ha publikalni szeretnem az ugyfeleim szervereirol sok ev alatt osszegyujtott spam leveleket, akkor az... mivel benne vannak az o ip cimeik, email cimeik, neha nevek is, raadasul sok spam hasznal tracking linkeket, amivel visszajeleznek hogy melyik email cimrol nyitottak meg (pl. egy kulso szerverrol behivott kep url-jeben benne van az email cim is mint parameter, akar encodeolva pl. base64el)

bar mar nem valoszinu, de nehany nem spam level is keveredhetett koze. legutobb februarban toltottem ugy 3 hetet az egesz gyujtemeny ujra ellenorzesevel, de az is nagyreszt automatizaltan ment, kulonbozo szurokon, neuralis halos modelleken stb atkuldtem es ami picit is gyanus volt (tehat nem 100.000% spam minden modszer szerint) azokat "kezzel" megneztem, tobb 1000 levelet, es igy talaltam is vagy 10 levelet ami megse volt spam, csak nehany szuro benezte.  mondjuk aki mar valogatott kezzel spam mintat, az tudja hogy nem annyira binaris, nagyon sokszor nem egyertelmu meg sokadik olvasatra se egy levelrol, hogy az spam-e, vagy csak egy hirlevel amire valaki feliratkozott, vagy egy eltevedt level stb... vagy ott vannak a kamu konferencia meghivok, amik 1:1-be lemasolt valodi meghivo levelek csak 1-2 url van modositva benne az adathalasz oldalra...

ezeket mind el kene tavolitani/kicserelni. es a level tartalma is lehet kulonbozo modon enkodolva, tehat ehhez minden emailt be kell parsolni, kiszedni belole a szemelyes adatokat, majd lehetoleg ugyanugy vissza encodeolni. ezt meg le kene programozni... megrengeteget tesztelni, ellenorizni. annyit meg nekem nem er az egesz jotekonykodas, hogy ezzel foglalkozzak. szerintem ezert nincs tul sok spam gyujtemeny a neten, mert ezzel mas is igy lehet :)

csapda cimekrol lehetne siman publikalni a beesett leveleket, de nekem eddig nem igazan jott ez ossze, a csapda cimekre alig alig esik be valami, akarhogy "reklamozom" a cimet... valahogy megerzik a csapda-szagot a spammerek :(

A'rpi

mondom szerintem csak ez az ellentmondás:

"90%-ban nem a level tartalmaval foglalkozik," akkor a 10% kivágod nekem pl. a 100k 90%-a még így is pont elég tesztelésre.

Nyilván én más szemmel nézem ezt a feladatot, így nem érzem problémának (nekem), ahhoz képest mint a kérdésem.

Pedig ez a harci helyzet. Amit arpi_esp írt, azok alapján megy a spamek jelentős részének kukázasa, azaz pontosabban instant visszautasítása. Vannak jó feketelisták (ezeket lehet kombinálva nézni), van jó SPF ellenőrzés, és az egyszerű technikai megfelelőség. Aki ezeket nem ugorja meg, azok 95%-ban valami spamphisingmalware őrülettel próbálkoznak, illetve olyan szerveren van a levelezésük, ahol épp elszabadult valami, és felugrottak néhány feketelistára.

A maradékot a clamav (unofficial db-vel együtt), és a spamassasin néhány egyéni szabállyal, feketelista alapú pontozás rásegítéssel egész jól fogja.

Ilyen vírus spam db nemnagyon lesz, és azzal kis hatékonysággal fogod megnézni, hogy mit fog meg, mert 2 hónap múlva már más lesz a sláger. Ami aktuális spam kitörés, azt dnsbl alapon fogod tudni kezelni általában, mert pl. spamassassin esetén csak ezek után fogja megtanulni, feltéve ha eljut addig.

Ha valamilyen fizetős megoldást használsz, ami minden fronton szűrést ígér, akkor az meg olyan, amilyen, de számítani kell rá, hogy lesz átjutó, meg fals pozitív.

Köszi az infót ggallo,

bár nem örülök neki, de erre voltam kíváncsi. Nem kellett nekem ilyen azelőtt csinálnom, csak rémlett, hogy láttam ilyet, de nem tudom újra megtalálni, lehet nem egészen az volt, de gondoltam lehetne ilyen adatbázis, hasonlóan, mint a víruskeresőknél.

( fdeyso | 2022. 10. 11., k – 21:13 )

Van egy ingyen tool amihez az egyik partnerunk adott linket, megnezem neked holnap.