SPAM szűrő - kinek melyik?

Linux-haladó

Kedves Fórumozók,

Keresem a számomra legjobb spam szűrő rendszerét.Elvárások:
- postfix - dovecot rendszerhez integrálható legyen (gondolom ezt minden spam szűrő tudja)

- tanítható legyen... a cél az lenne, hogy legyen egy mail cím, amire ha levelet forwardolok, akkor abból okul a rendszer, amit aztán később felhasznál a többi szűréshez. Persze ehhez nem ragaszkodom, csak akkor azt kitenném egykét oldalamra láthatatlan módon és könnyebben és gyorsabban kiképezhetem a számomra tökéletes spam szűrőt, azt ami a jelenlegi fiókjaimat elárasztja.

- könnyen beállítható legyen... nyilván nem fogom megúszni manualok olvasása nélkül a beállítást (nem is ez a cél), de nem szeretnék azzal heteket tölteni, hogy beállítsam a rendszeremnek leginkább megfelelő beállítást. Számos ügyfelet szolgál ki a rendszer, ahova telepíteni szeretném és sajnos nem igazán megoldható, hogy tesztelgessem, hogy melyik beállítás a leginkább megfelelő. Inkább szűrjön kezdetben kevesebbet, mint hogy az ügyfél számára fontos levelet SPAM-nek jelöljön, amit aztán dovecot a SPAM mappába dob (amit beállítástól függően lehet, hogy az ügyfél nem is lát).

Félek, hogy itt most nagyon meg fognak oszlani a vélemények. Mint ahogy azt is tudom, hogy sokan arra fognak buzdítani, használjam a google-t. Mindezen már túl vagyok, tudom, hogy milyen szűrők léteznek és ismerem a populáris rendszereket név szerint és utána is néztem ezeknek.
De mit sem ér a dolog gyakorlati tudás nélkül. Így elsősorban olyan emberek hozzászólásait várom, akik éles környezetben használnak a fentebbi feltételeknek megfelelő rendszer úgy, hogy az valóban be is vált. Mint ahogy fentebb írtam, sajnos nincs lehetőségem tesztelni. Inkább bevállalom, hogy kevesebb levelet szűr meg (az elején), csak ne szűrjön meg fontos levelet egy rossz beállítás miatt.

Előre is köszönök minden építő jellegű hozzászólást és javaslatot.

Ui.: Jelenleg a rendszeren graylist (postgray) üzemel, ami ahogy nézem ma már szinte semmit nem ér. A cél ennek a leváltása lenne, ami nagyobb hatékonysággal dolgozik.

( tompos v | 2014. 06. 29., v – 17:13 )

[nesze semmi fog meg jol]

Bocs, h valaszolni probaltam. A picsaba nincs unsubscribe.

( tompos v | 2014. 06. 29., v – 12:27 )

Ne update-eld folyamatosan a topic-ot, legyszives, csak ha hozza is raksz vmit.

Kosz.

Addig nem tudok mit hozzá tenni, amíg nem születik hozzá hsz.

Amit írtál nem sokat segített előrébb jutnom, amolyan nesze semmi fogd meg jól. Viszont az elgépelést rögtön kijavítottad, mintha csak arra vadászna néhány ember a fórumokon, hogy kibe miért lehet belekötni. Tipikus magyar mentalitás.

( sj | 2014. 06. 29., v – 19:44 )

- postfix - dovecot rendszerhez integrálható legyen (gondolom ezt minden spam szűrő tudja)

nem egeszen. Pl. a spambayes vagy a bogofilter nem tudjak a postfix after queue content-filter modjat.

- tanítható legyen

ez a statisztikai szurok alapfelszereltsegehez tartozik

- könnyen beállítható legyen...

ha rettegsz a fals pozitiv hibaktol, akkor szinte mindegyik statisztikai szuro is tamogatja a feherlistakat

tudom, hogy milyen szűrők léteznek és ismerem a populáris rendszereket név szerint és utána is néztem ezeknek.
De mit sem ér a dolog gyakorlati tudás nélkül.

szerintem nem tul komplikalt a feladat: feldobsz egy linuxot egy virtualis gepbe, aztan feldobsz ra egy statisztikai szurot, vegul megszorod egy csomo spammel. Kozben meg jatszol vele. 1 napnal tobbet aligha kell spamszuronkent elvesztegetned.

Ami a postgrey-t illeti, teljesen jo a zombik ellen. Csak az a baj, hogy mostansag a spamek sulya athelyezodott a kulfoldi vps-ekre, ahol mivel mta fut, ezert max. keslelteted, hogy a spam beessen a mailboxodba.

Tompos irta, hogy ezeket (meg a legitim kuldoket) kar is farasztani a kesleltetessel. A clapf nevu megoldasban van egy modositott postgrey, ami a PTR alapjan zombigyanus gepeket lassitja csak.

Nekem kozelebbi ismeretsegem a clapf nevu megoldassal van. Ez egy statisztikai spamszuro (mar majdnem keszre atdolgozott) LAMP gui-val. Eles kornyezetben is hasznalom, es nekem bevalt :-)

Ha csinalsz egy virtualis gepet, es osszeszedsz egy kazalnyi jo levelet, ill. spamet, akkor segithetek az elindulasnal, aztan eldontod, bejon-e...

--
"A politikat, gazdasagot es a tobbi felsorolt faszsagot leszarom, amig engem nem erint (nem erint)" (bviktor)

( blackluck v | 2014. 06. 29., v – 20:10 )

postgrey melle jol beallitott postfix restriction-ok a spam-ek nagyon reszet meg mindig megfogja.
Ezen felul meg erdemes sfp, dkim, dmarc-ot megvizsgalnod es egyszeru spam tanitas eleg lehet.

( NoMan | 2014. 06. 30., h – 09:04 )

Máshol a dspam-et dicsérik. Van itt valakinek tapasztalata vele? Valóban jó lehet? Van akinek bevált?

van neki egy lelkes kis kozossege, meg egy levlistaja. Szerintem fel kene venni a todo listadra 2-3 termeket, aztan szepen sorban nekiallni kiprobalni, kerdezni, aztan menet kozben letisztul a dolog, hogy melyik lesz neked jo...

--
"A politikat, gazdasagot es a tobbi felsorolt faszsagot leszarom, amig engem nem erint (nem erint)" (bviktor)

Mindenképp nálad fog eldőlni, hogy nálad mi válik be, mi esik kézre mi illeszkedik a felhasználók elvárásához. Abban is biztos lehetsz, hogy hosszas hangolgatások jönnek.

Én személy szerint több szinten szűrök. Első szinten mindenféle greylist szabályokkal megritkítom a spameket és második szinten jön a spamassassin néhány egyedi szabállyal feldobva. Az álláspont az, hogy inkább jusson át 1-2 spam, minthogy rendes emailt Spam mappába tegyünk vagy ha annyira durva spamnek minősül akkor esetleg eldobni.

a clapf jo cucc, nekem aztan elhiheted. A dspam-et sokan hasznaljak, valoszinuleg nem azert, mert szar. Van, aki az assp-re eskuszik, etc. szoval van felhozatal boven. A kerdes csa az, meddig akarsz meg nyafogni, es mikor akarsz vegre nekilatni, hogy feltedd az elsot. Valoszinuleg nem arulok el nagy titkot, hogy a default beallitasok jok lesznek az elindulashoz, aztan majd latni fogd, min kell tekerni.

De az is lehet, hogy neked az kell, hogy felhuzol egy gepet, leirod, hogy pontosan mid van, mit szeretnel, aztan megbizol egy hozzaertot, hogy 2-3-4-... mernokora alatt csinalja neked kulcsra keszre a spamszuresedet. Ehh, egyre inkabb kezdem megerteni tompost...

--
"A politikat, gazdasagot es a tobbi felsorolt faszsagot leszarom, amig engem nem erint (nem erint)" (bviktor)

( newman | 2014. 06. 30., h – 11:01 )

Nálam a Mailscanner+SPAMassassin+ClamAV trió nagyon bejött.

( Proci85 v | 2014. 06. 30., h – 11:32 )

Hatékony spam szűrés (postfix, dovecot, spamassassin)
SpamAssassin tanítása topikból hasznos megjegyzések amikor peruser szinten tanítasz.

Nálam jó ideje megy már a Postfix+Dovecot+Spamassassin kombó. A Dovecot Sieve plugin szerver oldali levél leválogatást tesz lehetővé. Fejlécben ott a Spam: YES flag, ettől kezdve a levelet oda rakod ahova akarod.
Tudom, ez semmit mondó, de nálam 99%-os hatékonysággal szűr. A Spam mappa az elmúlt 90 nap leveleit tartalmazza, jelenleg 550-et. Ebből látható, hogy nagy atrocitás egyébként sem ér. Nagy részét az első linken lévő erős posftix szűrés eldobja.

( NoMan | 2014. 06. 30., h – 18:20 )

Feltettem a dspam-et és be is konfiguráltam. Viszont ha jól értelmeztem, akkor ez tanítás nélkül nem szűr semmit.

Tanítani pedig csak ütemezett scriptek lévén képes, ahol egyesével megmutatom neki, hogy ez spam, ez pedig ham (legalábbis ha jól értelmeztem). Illetve van egy dovecot-antispam plugin, de abból gentoo repoba nincs stable verzió, így azzal inkább nem kísérleteznék. De utána minden dovecot frissítésnél menne vele a szívás, amit nem igazán szeretnék.

Odáig eljutottam, hogy pl thunderbird-ben be lehet állítani, hogy a spam-nek jelölt levelet tegye át a Junk mappába. Viszont a tanítás már nem ennyire triviális számomra. Ugyanis, tegyük fel, hogy beütemezek egy scriptet ami naponta egyszer végig megy minden user junk mappájában és az ott talált leveleket spam-nek tanulja. Viszont miven az INBOX-al. Mivel azt nem mondhatom, hogy minden ott van az pedig ham, mert mi van akkor ha 3 napig nem nézi az illető a leveleit és nem jelölte a leveleket SPAM-nek. Vagy min van akkor ha a Junk mappába bekerült egy false negatív levél? Akkor hogy mondom meg a dspamnek, hogy ez amúgy nem spam levél lett volna, csak véletlenül oda került?

Illetve hash storage esetén megoldható, hogy minden usernek külön kezelje a rendszer az adatbázisát? Mivel több olyan ügyfél is van, aki nem megy partnerekkel levelezik. Ha rájuk is az vonatkozik, ami pl az én fiókomra, akkor nagyon sokat fog az anyukám csuklani.

Viszont ha jól értelmeztem, akkor ez tanítás nélkül nem szűr semmit.

jol. Szerintem inkabb ugy kene megfogni a dolgot, hogy csak azt tanitsd, amit kell. Pl. ha bela junk mappajan mar a 25. alkalommal mesz vegig tanitasra, akkor az torzithatja a spam adatbazist. En fognek egy kazal jo levelet, meg kb. ugyanannyi szemetet, es abbol seed-elnem a token adatbazist.

A masik, amit el kell donteni, hogy mindenki ugyanazt a token adatbazist hasznalja, vagy sem. Pl. ha egy ceg leveleit szurod, ott jarhato ut a kozos token database, de ha szolgaltato vagy sok ceg levelezesevel, akkor nem biztos.

--
"A politikat, gazdasagot es a tobbi felsorolt faszsagot leszarom, amig engem nem erint (nem erint)" (bviktor)

Sajnos nem lesz jó az egy adatbázis, mert több cég, köztük több féle nyelvezettel. Tehát mindenképpen külön adatbázis kell. Így viszont a tanítás is nehézkes, mert soknak még az alap funkciók használata is gondot okoz, ha elkezdem nekik magyarázni, hogy forwardolja a leveleket egy aliasra, akkor nagyon csúnyán fog rám nézni. Éppen ezért gondoltam, hogy minden ham levélként tanul meg a rendszer és amit a spam mappába tesz, azt a rendszer felnyalja magától, hogy spam. Ha ez viszont torzít, akkor nem tudom, hogyan lenne célszerű megoldani a jelen helyzetet.

Itt se azzal van a gondom, hogy nem lehet felhasználónként szeparálni, hanem azzal, hogy hogyan tudok rávenni egy számítástechnikai analfabétát arra, hogy forwardolgassa a leveleit.

Mert az eredeti elképzelés az volt, hogy a 14 napnál régebbi spam mappában lévő leveleket beolvasom spam-nek és törlöm. Így csak arra kellett volna rávenni őket, hogy tegyék át a spam leveleket a spam mappába.

Nincs valami automatizált megoldás erre? Értem ezalatt, hogy a usernek csak a spam mappába kelljen áthúzni a spameket és más dolga ne legyen. Nem a script megírásával gondom, hanem, hogy a ham leveleket hogyan dolgoztatom fel a dspam-mel, honnan tudja, hogy ezt feldolgozhatja, ezt pedig nem.

"Spamassassin tanítása, használata peruser szinten megoldható." = csinálsz egy scriptet ami az user junk mappáját végignézi.
-> user behúzza a spam mappába, este SA megtanulja és mindeki örül.

Semmiféle forward nem kell, miért is kellene?!

"hanem, hogy a ham leveleket hogyan dolgoztatom fel a dspam-mel, honnan tudja, hogy ezt feldolgozhatja, ezt pedig nem"

Csak olvasott leveleket nézzess át vele. IMAP esetén ez a cur mappa. Amit nem nyitott meg, azt nem bírtálta még el az user így a SA se tanulja meg.

Konkrétan: 


#!/bin/bash

for domain in $(ls -1 /var/mail/virtual/); do
 for user in $(ls -1 /var/mail/virtual/$domain); do
  if [ -d /var/mail/virtual/$domain/$user/.Spam ]; then
   if [ -f /var/mail/virtual/$domain/$user/.dovecot.sieve ]; then
    if $(grep --quiet "INBOX.Spam" /var/mail/virtual/$domain/$user/.dovecot.sieve); then
     DBPATH=/var/mail/virtual/$domain/$user/bayes
     echo " + $user@$domain spam"
     echo -n "   --> "
#   sa-learn --spam /var/mail/virtual/$domain/$user/.Junk/{cur,new} -u $user@$domain
#   sa-learn --spam --showdots --dbpath $DBPATH /var/mail/virtual/$domain/$user/.Junk/cur
#   find /var/mail/virtual/$domain/$user/.Junk/cur -type f -mtime -7 -exec sa-learn --spam --showdots --dbpath $DBPATH {} \;
     find /var/mail/virtual/$domain/$user/.Spam/cur -type f -mtime -3 -print0 | xargs -0 sa-learn --spam --dbpath $DBPATH
     echo " + $user@$domain ham"
     echo -n "   --> "
#   sa-learn --ham --showdots --dbpath $DBPATH /var/mail/virtual/$domain/$user/cur
#   find /var/mail/virtual/$domain/$user/cur -type f -mtime -7 -exec sa-learn --ham --showdots --dbpath $DBPATH {} \;
     find /var/mail/virtual/$domain/$user/cur -type f -mtime -3 -print0 | xargs -0 sa-learn --ham --dbpath $DBPATH
     chown vmail:mail $DBPATH*
     chmod 600 $DBPATH*
#     echo "Dump magic:"
#     sa-learn --dbpath $DBPATH --dump magic
#     echo "--------------------
#     "
    fi
   fi
  fi
 done
done
echo
echo "Done."

Te jó ég... cur mappa!! Hogy ez miért nem jutott eszembe. Azt hiszem, hogy ez lesz a tökéletes megoldás.

Minden mappa cur mappája ham, kivéve a .Junk mappa new és cur mappája, mert azok spamok. És így tökéletesen tanítható automatikusan is a háttérben. Ha valaki pedig hülye volt és a spamokat nem jelöli egyből spam-nek, akkor szenvedjen Ő a tanítással.

Szerintem kifogásolhatatlan ötlet.

( NoMan | 2014. 06. 30., h – 20:01 )

Azt hiszem, hogy közben sikerült rájönnöm a tanításra, viszont felmerült egy kérdés benne.

Az helyes megközelítés lehet a tanításra, hogy először minden levelet beolvas, mintha negatív levél lenne betölti adatbázisba, majd pedig amit megjelölök spam-nek, azt beolvassa spam-ként újra? Vagy ez elrontja a szabályokat?

Mert ezzel végülis megoldható lenne, hogy a hamokat nem külön elküldeni a rendszernek, ezzel lényegesen kevesebb dolga lenne egy felhasználónak a tanítás során.

Vagy ez nagyon rossz megközelítés?

( NoMan | 2014. 07. 01., k – 19:18 )

Hát ahogy elnézem... nem sok ember használ spam szűrőt :) Nem igazán kaptam választ az alap kérdésre, hogy kinek melyik szűrő jött be igazán. Mint ahogy dspam sem lehet túl népszerű, mert a tanítással kapcsolatban is csak embernek volt véleménye :((

Szabin vannak a rendszergazdák? Vagy csak ennyire lerágott csont a kérdés? Ha igen, akkor hol, mert átfogó leírást nem igazán találtam sehol.

dspam tanítással. A tanítást egyiknél sem úszod meg. Szóval innentől csak fel kell raknod és kitalálni a tanítási metódusodat.
Egyébként dspam tud közös spam mintát is használni és userét IS. Tehát attól, hogy egy user hülye és nem tanítja a sajátját attól még a közös szabályok lefutnak rá. Illetve mivel csak jelölgeted a spamet nem törlöd (legalábbis eleinte) van mit megszoknia a usernek és ha nem megfelelően jelöl akkor szólni neki, hogy igen tanítsd ahogy már egyszer kérted :)

--
http://pyftpadmin.earthquake.hu

( uid_194 | 2014. 07. 02., sze – 14:26 )

En kenyelmes, es abszolute nem helyes modon atfuttatom egy gmail fiokon. Bejon a level $foo@$akarmi -re, az tovabbdobja egy google appses cimre, ami spamszur, es visszaforwardol $foo@checked.$akarmi-re, ami meg csak googletol fogad el levelet, es csak ugy, hogy elotte $foo@$akarmi-n atment. Ennek tetejere postgrey es csokolom.

Persze ez is atverheto, nem is olyan nehezen, de az tul sok energiat igenyelne mar a kuldo reszerol.

Integralhatosag: check.
Tanithato: ezt is meg lehet, google webes feluleten klikkelgetve, vagy $foo+spam/$foo+ham@$googleapps cimre kuldve, es ott filtert beallitva, hogy $foo+spam@ => spam, $foo+ham@ => nem spam.

Konnyu beallithatosag: haaaat. kinek mi konnyu. nekem konnyebb volt ezt osszerakni, mint sajat spamszurot hatekonyra beizzitani. de mas tuti azt mondja ra, hogy kosz nem. Tobb user eseten valoszinuleg nem skalazodik jol a dolog.

--
|8]

( bennyh | 2016. 10. 20., cs – 15:11 )

Mostanában mi az, ami egyszerű ,ingyenes és beilleszthető meglévő levelezés elé?
A XEAMS gárdája, amit eddig használtam, tegnap frissített egyet és adott harminc napot mindenkinek, aki az ingyenes változatot használja, hogy vagy fizet, vagy kasza. Vagyis lenne egy komjuniti edisün, amiből pont csak a spam szűrő hiányzik, ami miatt használtam. De nem csak én mérgelődök, tele a XEAMS fóruma, hogy ok, hogy pénzből élnek a fejlesztők, de lehetett volna finomabban, valamint az árazás is vicc, hisz a legtöbben csak spam szűrésre használják, de leszámláznák a teljes júzerszámot.

fogsz egy random spamszurot, es beilleszted. De komolyan. Postfix + tetszoleges open source spamszurovel osszedobhatsz egy elotet szervert, ami megszuri a leveleidet, majd tovabbitja a mail szerveredre. De akar olyan setup-ot is valaszthatsz, hogy a mail szervered fogadja a leveleket, atadja smtp-n egy masik mail szervernek, ami a mail szervernek egy masik cimen/portjan adja vissza a szurt leveleket. Attol fugg, hogy mit szeretnel.

--
Te!
Annyira gyulolod a BlackPanthert!
En meg ezert gyullolek! NIncs ra szo!
Le se szarlak! Erted budos goreny?! (abalole, a 20062. user)