Postfix + clapf virtualis felhasznalokkal

Linux-haladó

Hallo,

nem olyan reg sikeresen felhuztam a postfix + clapf parost. A levelek jonnek-mennek, virtualis usereknek mukodik a queue, stb. Az egyetlen problema, amikor adott user-nek rosszul hibasan jeloli meg a levelet, a felhasznalo nem tudja tovabbitani az uzenetet a clapf-nak. Tenne ezt ugy, hogy user+spam@domain, user+ham@domain cimre irna.
A postfix megkapja a levelet, clapf atnezi, kikerul a postfix queue-bol es ennyi. Ha siman user+foo@domain -ra irok levelet, azt megkapja a user.


Jun 23 17:56:50 vas postfix/lmtp[31043]: 312E34142F7: to=<efpe+ham [kukac] efpe [potty] hu>, relay=127.0.0.1[127.0.0.1]:10025, delay=7.1, delays=0.21/0/0.01/6.9, dsn=2.0.0, status=sent (250 Ok 485fc7bb703ebd81dce820875b59a5 <efpe>)
Jun 23 17:56:50 vas postfix/qmgr[3409]: 312E34142F7: removed

Postfix: 


# postconf |grep recipient_delimiter
recipient_delimiter = +

Clapf: 


workdir=/var/lib/clapf/tmp
;queuedir=/var/lib/clapf/queue

Igy forgattam: 

./configure --enable-libclamav --enable-surbl --enable-blackhole --enable-rbl --enable-lmtp --with-clapf-user=clapf --with-tokendb=mysql --enable-whitelist --enable-cgi

A clapf tudja irni a konyvtarakat: 


# ls -l /usr/local/var/lib/clapf/queue/e/efpe/
total 1668
-rw-r--r-- 1 clapf www-data   333 2008-06-15 02:03 h.48545c490f466bccbba8aa31576db1
-rw-r--r-- 1 clapf www-data   350 2008-06-15 02:07 h.48545d345a1296e59b8ce2428a1b19

Termeszetesen a MySQL-el is tud beszelgetni. A /usr/local/var/lib/clapf egy symlink a /var/lib/clapf -ra.

Mit rontok el? Ha kell meg config reszlet, akkor szivesen adok :)

A segitsegeteket elore is koszonom!

Udv,
efpe

  • 2144 megtekintés

( sj | 2008. 06. 23., h – 19:55 )

Nem akartam hinni a szememnek, hogy clapf topik a hup-on :-)

Azt szeretnem megkerdezni, hogy melyik clapf verziot hasznalod? A levelet ugye mellekletkent tovabbitod az efpe+ham@-ra? Ez azert fontos, mert abban benne marad az eredeti fejlec, ill. az abban szereplo "message id".
Ha ez mind koser, akkor meg kellene nezni, hogy mit ad vissza az

ls -l /usr/local/var/lib/clapf/queue/e/efpe/*.messageid

Mekkora a tanitando level merete, es mekkora a max_message_size_to_filter erteke?

Tovabba milyen token adatbazist hasznalsz? (globalis/shared, merged), azaz mi a group_type erteke?

Mi a select * from t_misc where email='epfe@...'; eredmenye?

Ill. be tudnal ollozni egy teljes (esetleg debug) logot, amikor eppen tanitani akarod?
Ja, es meg 1 kerdes: ham-kent felismert levelet akarsz az efpe+ham@-ra kuldeni?

ASK Me No Questions, I'll Tell You No Lies

Nem akartam hinni a szememnek, hogy clapf topik a hup-on :-)

mwhahaa...

Azt szeretnem megkerdezni, hogy melyik clapf verziot hasznalod? A levelet ugye mellekletkent tovabbitod az efpe+ham@-ra? Ez azert fontos, mert abban benne marad az eredeti fejlec, ill. az abban szereplo "message id".

# clapf -V
clapf 0.3.30

Termeszetesen, a Thunderbird becsatolja szepen mellekletkent.

Mekkora a tanitando level merete, es mekkora a max_message_size_to_filter erteke?

Tovabba milyen token adatbazist hasznalsz? (globalis/shared, merged), azaz mi a group_type erteke?

# cat /usr/local/etc/clapf.conf |grep max_message_size_to_filter
max_message_size_to_filter=65536
# cat /usr/local/etc/clapf.conf |grep group_type
group_type=1

Mi a select * from t_misc where email='epfe@...'; eredmenye?

A 

t_misc

tablaban nincs 

email

oszlop, csak 

nham, nspam, uid

oszlopok.

Clapf altalal fel nem ismert spam-ot akartam tovabbitani, illetve spam-kent felismert ham-ot. Ez konkretan egy level a symfony-users listarol.
http://efpe.hu/clapf/mail.log

Igazad van, user tablat akartam irni, azaz

select * from user where email='epfe@...';

de biztosan benne van az email-ed es a megfelelo uid.

Ami a verziot illeti, javaslom, hogy frissits 0.3.30-sp1-re. A 0.3.30-ban sikerult kihagyni a mysql tanitas reszt, elnezest erte.

ASK Me No Questions, I'll Tell You No Lies

Ok, szerintem szukseges lesz a frissites, ill. meg egy: ha max_message_size_to_filter=0-t allitasz be, akkor egy 5M-s levelet is elemezni akar, ami eltarthat egy darabig, ha szoveges levelrol van szo. A spamek donto resze viszonylag kicsi, nalam pl. 185536 a valtozo erteke. Az en spamjeimre ez eddig bevalt, es belefer a neha napjan kapott nagyobb pdf spam is.

ASK Me No Questions, I'll Tell You No Lies

Probaljuk azt ki, hogy mentsd el a Thunderbird-ben levo (valojaban) spam levelet. Nezd meg a fejlecebol a message id-t. A levelet h.messageid neven masold a te queue konyvtaradba (ahol eddig nem talaltad). Es azutan kellene ismet megprobalni a tanitast. A tanitas ugyanis ugy mukodik, hogy a tovabbitott mellekletbol kihamozza az eredeti level azonositojat, es azt keresi h.messageid neven a queue konyvtaradban, es azt veszi inputkent a tanitashoz.

A verzio szam ok, mert a 0.3.30-sp1-et par nappal a 0.3.30 utan dobtam ki, es csak a hianyzo mysql reszt potoltam benne.

ASK Me No Questions, I'll Tell You No Lies

http://efpe.hu/clapf/mail.log.2
Az itt szereplo level megtalalhato a queue konyvtaramban, 

securebox:/usr/local/var/lib/clapf/queue/e/efpe# ls -l |grep 4860076d6ba5f6ce15a7cb077c60a4
-rw-r--r-- 1 clapf clapf     1364 2008-06-23 22:28 h.4860076d6ba5f6ce15a7cb077c60a4

ez csodalatos, viszont ott marad, amig a cronjob utol nem eri. Hibaba forwardolom.
http://efpe.hu/clapf/user.sql Igy nez ki a user tabla. Lehet, hogy az action mezo erteke nem jo?

Eddig sem volt sok otletem, de most egyre kevesebb van :P 

securebox:~# clapf -V
clapf 0.3.31-rc2

Nagyon uj :)
http://efpe.hu/clapf/mail.log.3

Ez kicsit biztatobbnak nez ki.. 

un 23 23:10:40 securebox clapf[23409]: trying to train on /usr/local/var/lib/clapf/queue/e/efpe/h.48601124e7f037be2280cc4ddd5aa6 for 1
Jun 23 23:10:41 securebox clapf[23409]: trained on /usr/local/var/lib/clapf/queue/e/efpe/h.48601124e7f037be2280cc4ddd5aa6 for 1
Jun 23 23:10:41 securebox clapf[23409]: freed sstate2 after training

Ettol fuggetlenul ugyanugy ham-nak kajalja meg az en altalam elobb spam-nak jelolt levelet.

Meg azt meg tudnad nezni, hogy a t_misc tablaban novekszik-e az nspam erteke?
Ill. ki kene probalni a spamtest nevu programot, hogy mikent latja az uzenetet?

spamtest /usr/local/etc/clapf.conf /usr/local/var/lib/clapf/queue/e/efpe/h.48601124e7f037be2280cc4ddd5aa6 1

Ez kiirja, hogy a megtalalt tokenekhez tartozo valoszinuseget. Tanitas utan egy csomo (uj) tokent kell ismernie, megpedig egyre inkabb a spamre jellemzo oldalon.

Holnap este osszeallitok egy mysql-es konfigot vmware alatt, es utanajarok, hogy minden jol mukodik-e. Utana jelentkezem az eredmennyel...

ASK Me No Questions, I'll Tell You No Lies

Igen, ez lesz a jo. Vegyuk az alabbi spamtest futast:

$spamtest /usr/local/etc/clapf.conf level53 1

received from av-engine.localhost localhost 127.0.0.1
by xxx.xxx.hu postfix with smtp id 0865d17019
for sj xxx.xxx.hu tue 24 jun 2008 02 00 33 0200 cest
received from fmx27.freemail.hu fmx27.freemail.hu 195.228.245.77
by xxx.xxx.hu postfix with smtp id eceb917018
for sj xxxx.hu tue 24 jun 2008 02 00 32 0200 cest
received qmail 5907 invoked from network 24 jun 2008 02 00 32 0200
received from fm17.freemail.hu 195.228.245.117
by fmx27.freemail.hu with smtp 24 jun 2008 02 00 32 0200
received qmail 92117 invoked by uid 15281063 24 jun 2008 02 00 32 0200
from kiss andrea sanyika20n freemail.hu
subject mozi film zene 40 f nap!
to sj xxxx.hu
content-type text plain charset iso-8859-2
content-transfer-encoding quoted-printable

kedves letolto!

mar a kabeltv sem kot le mindig ugyan az az unalmas musor megy szeretnel
gyorsan friss filmeket letolteni de draga a kolcsonzo a moziban meg
1500 ft-ot kernek egy filmert
nalunk napi 40 ft-ert most 35 napon keresztul toltheted le a premier
filmeket
jatekokat zeneket programokat! valogatott csak minosegi letoltenivalo!

http://smile.nocsak.eu

mert nalunk mosolyogva tudsz tolteni!
ne feledd http://smile.nocsak.eu !

most hivasd elõ digitális fotóidat! 100 db digitális kép csak
1999 ft!
http://www.fotokidolgozas.origo.hu


uid: 1
nham: 1321, nspam: 2254
from: 0, 0
HEADER*acts.hu (456836894006684960) 0.9676 1
FROM*andrea (6478537085222186462) 0.1040 1
with esf_h: 1.000000, esf_s: 1.000000
phrase: 0.6000
friss (11304042078345402892) 0.0260 1
napi (2233785474658785108) 0.0325 1
keresztul (10482591952776933007) 0.0743 1
kedves (7479775264070677640) 0.0161 1
csak (2233785468763731599) 0.0065 1
premier (10036103612729125811) 0.9040 1
nalunk (7480478853197479578) 0.0289 1
ugyan (11304043108409880541) 0.0578 1
meg (2305843009184923501) 0.0068 1
gyorsan (10271973235881054868) 0.1040 1
egy (2305843009187000952) 0.0044 1
napon (11304042627486426326) 0.0193 1
megy (2233785474126589712) 0.0153 1
HEADER*acts.hu (456836894006684960) 0.9676 3
sem (2305843009183293050) 0.0071 1
mert (2233785474126612232) 0.0040 1
mindig (7480056031652792776) 0.0124 1
FROM*andrea (6478537085222186462) 0.1040 2
kép (28249089) 0.0289 1
tudsz (11304043040292284992) 0.0578 1
with esf_h: 1.000000, esf_s: 1.000000
mix: 0.0000
level53: 0.0000 in 78 [ms]

Ez egy magyar nyelvu spam, amit nem ismert fel a clapf. Ezutan mellekletben elkuldtem az sj+spam@... cimre, majd ismet lefuttattam a tesztet:

$spamtest /usr/local/etc/clapf.conf level53 1

received from av-engine.localhost localhost 127.0.0.1
by xxx.xxx.hu postfix with smtp id 0865d17019
for sj xxx.xxx.hu tue 24 jun 2008 02 00 33 0200 cest
received from fmx27.freemail.hu fmx27.freemail.hu 195.228.245.77
by xxx.xxx.hu postfix with smtp id eceb917018
for sj xxxx.hu tue 24 jun 2008 02 00 32 0200 cest
received qmail 5907 invoked from network 24 jun 2008 02 00 32 0200
received from fm17.freemail.hu 195.228.245.117
by fmx27.freemail.hu with smtp 24 jun 2008 02 00 32 0200
received qmail 92117 invoked by uid 15281063 24 jun 2008 02 00 32 0200
from kiss andrea sanyika20n freemail.hu
subject mozi film zene 40 f nap!
to sj xxxx.hu
content-type text plain charset iso-8859-2
content-transfer-encoding quoted-printable

kedves letolto!

mar a kabeltv sem kot le mindig ugyan az az unalmas musor megy szeretnel
gyorsan friss filmeket letolteni de draga a kolcsonzo a moziban meg
1500 ft-ot kernek egy filmert
nalunk napi 40 ft-ert most 35 napon keresztul toltheted le a premier
filmeket
jatekokat zeneket programokat! valogatott csak minosegi letoltenivalo!

http://smile.nocsak.eu

mert nalunk mosolyogva tudsz tolteni!
ne feledd http://smile.nocsak.eu !

most hivasd elõ digitális fotóidat! 100 db digitális kép csak
1999 ft!
http://www.fotokidolgozas.origo.hu


uid: 1
nham: 1321, nspam: 2259
from: 0, 5
minosegi+letoltenivalo! (8272342147814674776) 0.9200 1
meg+ft-ot (1297161542993921682) 0.9200 1
ft-ert+most (18212898031114305593) 0.9200 1
musor+megy (13070301119466975795) 0.9200 1
filmeket+letolteni (1360776689457344609) 0.9200 1
most+hivasd (7390337144796227809) 0.9200 1
Subject*film+Subject*zene (855857543869604744) 0.9200 1
premier+filmeket (16868088284464210343) 0.9200 1
programokat!+valogatott (15058493630128359222) 0.9200 1
digitális+kép (15677406100798738602) 0.9200 1
nalunk+napi (12882728596549003667) 0.9200 1
FROM*kiss (3739633736977338066) 0.9200 1
kép+csak (17910653726055207101) 0.9200 1
toltheted+premier (3445006027107841517) 0.9200 1
zeneket+programokat! (10186617576982669023) 0.9200 1
FROM*sanyika20n (8914453324039087392) 0.9200 1
HEADER*195.228.245.77 (2001172272227364929) 0.9200 1
hivasd+elõ (5160435675317697926) 0.9200 1
unalmas+musor (5919969582842478204) 0.9200 1
egy+filmert (1374613266607913141) 0.9200 1
mosolyogva+tudsz (4804274314306092121) 0.9200 1
napi+ft-ert (4602030314357824548) 0.9200 1
most+napon (3067688544623044473) 0.9200 1
nalunk+mosolyogva (11754937508310281738) 0.9200 1
kedves+letolto! (5040298741222738438) 0.9200 1
kot+mindig (2775874785990598626) 0.9200 1
draga+kolcsonzo (3363989337164532581) 0.9200 1
URL*nocsak.eu (17184949158128774900) 0.9200 1
Subject*film (13364550541112700888) 0.9200 1
digitális+fotóidat! (5425801031240527347) 0.9200 1
letolteni+draga (3866017793322790819) 0.9200 1
mindig+ugyan (17546125029109527378) 0.9200 1
URL*origo.hu (3191043298128012469) 0.9200 1
szeretnel+gyorsan (2274369860602082735) 0.9200 1
letoltenivalo!+mert (10882980038728244930) 0.9200 1
ugyan+unalmas (953032309816943508) 0.9200 1
tolteni!+feledd (11107519696577705091) 0.9200 1
kolcsonzo+moziban (5867993703642851154) 0.9200 1
moziban+meg (11365910033563767559) 0.9200 1
FROM*Kiss Andrea (4470933645351702412) 0.9200 1
valogatott+csak (15490492023889561288) 0.9200 1
csak+minosegi (11430307383878380473) 0.9200 1
filmeket+jatekokat (9486242153043515636) 0.9200 1
Subject*mozi+Subject*film (10575324764432211926) 0.9200 1
Subject*nap! (13364550545439147464) 0.9200 1
HEADER*acts.hu (456836894006684960) 0.9676 1
tudsz+tolteni! (6467484942857873014) 0.9200 1
feledd+most (11089066794004900090) 0.9200 1
kabeltv+sem (1269920758196303889) 0.9200 1
megy+szeretnel (8435613083861575597) 0.9200 1
napon+keresztul (5926506500272194885) 0.9200 1
HEADER*fm17.freemail.hu (14925673273643080088) 0.9200 1
Subject*zene+Subject*nap! (16750961295444608236) 0.9200 1
Subject*mozi (13364550545969711338) 0.9200 1
gyorsan+friss (8604158984968320646) 0.9200 1
sem+kot (10053852841108586717) 0.9200 1
mert+nalunk (2724176650094209941) 0.9200 1
Subject*zene (13364550551922351200) 0.9200 1
letolto!+kabeltv (5608875651348633353) 0.9200 1
ft-ot+kernek (9847696233986867763) 0.9200 1
csak+ft! (1055344733557682990) 0.9200 1
keresztul+toltheted (9458749134969334750) 0.9200 1
HEADER*195.228.245.117 (14436540894662298899) 0.9200 1
friss+filmeket (1497793856393915481) 0.9200 1
elõ+digitális (8161572642626618714) 0.9200 1
HEADER*fmx27.freemail.hu (2855002896257395011) 0.9200 1
fotóidat!+digitális (7387422521835211661) 0.9200 1
filmert+nalunk (18288007107924930462) 0.9200 1
jatekokat+zeneket (16604273444784641947) 0.9200 1
with esf_h: 1.000000, esf_s: 1.000000
phrase: 1.0000
level53: 1.0000 in 68 [ms]

Jol latszik, hogy a tanitas utan mar spamkent ertekeli a levelet, ill. az is, hogy az "nspam" erteke 5-el nagyobb lett. Azert nem csak 1-el (hanem 5-el), mert iterativan tanult a clapf, azaz mivel egy tanitas utan meg nem ismerte fel spamkent (hiszen full koser levelnek latta), ezert 5x tanulta a levelet. Vegul az is latszik, hogy egy csomo uj token is megjelent az adatbazisban.

Kicsit igazitok a forrason, aztan kiadom a 0.3.31-rc2-t. Ja, a levlista tenyleg nem nagy forgalmu (meg).

ASK Me No Questions, I'll Tell You No Lies

Nos, itten :) Csinaltam uj spamtesteket, ezuttal tenyleg valos spam levelen.
tevesen ham-nak tekitett level
efpe+spam -ra forwardolas utan

Ugy latom, hogy tenyleg mukodik. Ha beesik vegre egy fals pozitiv mail, akkor kiprobalom a hamositast is :)

update:
na, ugy tunik, hogy a +ham is mukodik. Eredeti level: 

X-Clapf-spamicity: 1.0000
X-Clapf-spamicity: 4862b35c607804f92c499d317ee9a0
X-Clapf-spamicity: message is absolutely spam
X-Clapf-spamicity: Yes

+ham utan: 

X-Clapf-spamicity: 0.0000
X-Clapf-spamicity: 4862b3f3b74caa8ffea5f5cc9f583e

A kovetkezo napokban meg tesztelni fogom, ha feltunik valami szokatlan, akkor ugyis szolok :)

Nagyon koszonom a segitseget.