Egy erdekes Spam

Ezt a levelet talaltam egy par perce a ladamba. Spam, de atcsuszott a GMail filteren:

http://hup.pastebin.com/f7986009b

Kisse instabil a level integritasa, de amugy teljesen erdekesen kinezo cucc.

Annyi modositas van a levelen, hogy a linkeket szokozzel feltoltottem, hogy ne linkesedjenek.

( Hiena v | 2008. 08. 17., v – 22:19 )

Ilyeneket en is kapok. Valszeg ugyanaz a banda csinalja mint jopar FTP warez szerver spamjeit, mert formailag, szovegezes tekinteteben azonos. Annyi talan a kulonbseg, hogy lazabbra, fiatalosabbra veszik azokat.
Amugy kicsillagoztam volna a linket, ne generaljak nekik forgalmat. Leven a negativ reklam is reklam.

--
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "

En spacekkel toltottem fel. Igy sem linkesedik, es nem az itt megjelent linktol lesznek a google listajaba, hanem mert eleve a toner szo a linkbe van, azt meg ugye nem csillagozhattam volna ki, mert a level ertelmet vesztette volna.
-- 


()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.

Bocs, de szerintem igen nagy különbség van a "Spammer szégyenfal" és az "Egy erdekes Spam" cím közt.

Egyébként még akkor sem gondolnám komolyan amit írtam ha a második hozzászólásod/postod lenne, csak egy magánvéleménynek szántam hogy szerintem hogy kellene kezelni a spamokat.

( BaT | 2008. 08. 17., v – 22:21 )

Hiába, a spammerek rájöttek, hogy hogyan lehet olyan spamet gyártani, amit már a statisztikai spamszűrő sem fog meg mindig. Persze az emailcím még árulkodó lehet.

( trey | 2008. 08. 17., v – 22:23 )

Légy szíves NE told befele az oldalba a spam-et. Ott a pastebin. Mondjuk az sem valami jó, mert ezzel sem teszel mást, mint terjeszted a spam-et. Köszi.

--
trey @ gépház

( sj | 2008. 08. 17., v – 22:57 )

Na nezzuk, mibol elunk:

$spamtest hrgy84-spam-levele
using /opt/jail/usr/local/var/lib/clapf/data/s/sj/tokens.mydb. 25971, 32948 ...
uid: 0
nham: 25971, nspam: 32948
gondoljátok+gyertek (4465206203681191268) 0.9040 1
szerintem+érdemes! (9268795642457436326) 0.9040 1
kellett+kezdenem (15552603224025020856) 0.9040 1
focizni.+anyja (11180414934852606109) 0.9040 1
volna+szerintem (12688880581848622522) 0.9040 1
hogy+dolgozok (990542539169166241) 0.9040 1
nálam+fontos! (11097648111083449347) 0.9040 1
lettem+azt (13701240929341774546) 0.9040 1
utólag+viszont (15897320734857844729) 0.9040 1
azt+hallom (8379418301793478684) 0.9040 1
kerestem+ami (5299925666896860445) 0.9040 1
hamar+megtaláltam (12603216088502665659) 0.9040 1
meg+hát (10662137106973982150) 0.9040 1
hozzá+kellemeset (8876433016579556890) 0.9040 1
mindig+megyünk (15580872349190686434) 0.9040 1
múltkor+hogy (6028531658131391856) 0.9040 1
nagyon+gyorsan (17783956423811633404) 0.9040 1
igazán+meglátogathatnátok (14509910777471097657) 0.9040 1
szeptemberben+mehetek (6596626225483697918) 0.9040 1
lehet!+nem (14177131278436058377) 0.9040 1
van+ilyen (5435307526230615906) 0.1072 1
nekem+jutott! (12142993135236094715) 0.9040 1
levittem+focizni. (665850261641691348) 0.9040 1
múltkori+kérdésedre (8503645047965456733) 0.9040 1
hogy+nálam (8198687679645407751) 0.9040 1
hallom+hogy (11753912838089318367) 0.9040 1
bánom+mert (8398332272962405708) 0.9040 1
áron+adják (11498680838038463303) 0.9040 1
más+gyereket (2663927259428318228) 0.9040 1
minket+mindig (7404801974524332623) 0.9040 1
elég+sokan (15539736613868616078) 0.9040 1
készülök+egy (15603485625071270858) 0.9040 1
már+minket (1808595585988385928) 0.9040 1
mert+most (1678123073964721353) 0.0572 1
nem+találtam (16875243146332010297) 0.9040 1
hogy+rendszeresen (14592613817974821545) 0.9040 1
molyolni+neten (5365843481149029111) 0.9040 1
dolgaikat+nem (10082577929921590526) 0.9040 1
hogy+készülök (16654434817786632746) 0.9040 1
NO_SUBJECT* (13712286895324868416) 0.9999 1
amúgy+roppant (3359692451191197515) 0.9040 1
viszont+nem (11223661500238891965) 0.0538 1
beszéltünk+már (6839459408540097568) 0.9040 1
éjt+nappallá (16447664758286151231) 0.9040 1
úgyis+beszélünk! (8443367035139129568) 0.9040 1
mondom+megnézem (4867703305033933302) 0.9040 1
harc+volt (15154957031772277882) 0.9040 1
kaptam+amit (11566436722526071753) 0.9040 1
mert+elég (627719935518065180) 0.9040 1
megy+strandon (7402433315672199119) 0.9040 1
hogy+balatonra (13168789556751810018) 0.9040 1
lehet+kibírni (17247541672188794951) 0.9040 1
így+kellett (10697223167507362123) 0.9040 1
strandon+lóg (6772608885457992206) 0.9040 1
ilyen+ajándék (4037910995678592892) 0.9040 1
megyünk+20.-án. (10234240702991618508) 0.9040 1
edzésre.+sikerült! (7094336823997334481) 0.9040 1
elértem+nála (1807285489175109645) 0.9040 1
anyja+nem (8761791909357849719) 0.9040 1
kérdésedre+nem (17185516885365937921) 0.9040 1
meséltem+említettem (9655283371241462989) 0.9040 1
gépembe+nagyon (17297006123569935794) 0.9040 1
tudod+hogy (17030855441515959787) 0.9040 1
már+ezért (16017001566577049902) 0.9040 1
azt+hittem (8379417764848600435) 0.9040 1
ajándék+akciójuk (1438246776793527212) 0.9040 1
talán+szeptemberben (15360767781772853232) 0.9040 1
gyerek+meg (16992813760520240116) 0.9040 1
sok+reményt (3275163617690610272) 0.9040 1
Ügyes+gyerek (9028697920739842646) 0.9040 1
nagyon+engedte (17746396222036036911) 0.9040 1
engedte+mert (17479372405833097252) 0.9040 1
rendszeresen+járjon (629219771954222032) 0.9040 1
van+talán (6093908275564747812) 0.9040 1
puszil+egész (9620850433331143432) 0.9040 1
gyereket+levittem (11598373579104283137) 0.9040 1
írok+most (8873022227919197761) 0.9040 1
adják+dolgaikat (9990748841672232924) 0.9040 1
FROM*hirlevel (4189897411749044461) 0.9467 1
nem+meséltem (9459167371685330333) 0.9040 1
beszélünk!+puszil (15501414944875952768) 0.9040 1
ideges+lettem (8805239224997338963) 0.9040 1
pont+akkor (6821413606194719106) 0.9040 1
hát+ugye (17804925921387991063) 0.9040 1
ugye+szerettem (18329143526587992461) 0.9040 1
kimenni+gyerekkel (18052072798135851913) 0.9040 1
azt+hiszem (8379417763258998567) 0.0653 1
egyszer+igazán (14424672807329283928) 0.9040 1
jutott!+szerencsém (13093892622424036717) 0.9040 1
itt+nyár (2726484583686489131) 0.9040 1
át!+szerintem (13251860384933656410) 0.9040 1
volna+rendszeresen (5139450910011726490) 0.9040 1
baja+lesz (6795296636175367687) 0.9040 1
találtam+olcsóbbat (2262956757400912810) 0.9040 1
szerettem+volna (13876744511529931510) 0.0407 1
kezdenem+molyolni (882032349891535393) 0.9040 1
most+van (3949181010608875639) 0.9040 1
anita!+régen (816036518514551634) 0.9040 1
nem+lehet (15248604592675665833) 0.1012 1
gyerekkel+mert (5230836622155307673) 0.9040 1
hiszem+náluk (5913334474225601855) 0.9040 1
is.+cím (10589463257331918835) 0.9040 1
nem+sok (10144869790411825204) 0.0731 1
nem+nagyon (14237933349623500561) 0.0869 1
azért+félek (3245414759699810138) 0.9040 1
meg+kaptam (17214283611154929026) 0.9040 1
család!+dénes (3014261610348836767) 0.9040 1
prezentációra.+pont (14822490690590849724) 0.9040 1
meg!+utólag (5948255045550165312) 0.9040 1
balatonra+megy (7637626078747982416) 0.9040 1
volt+mire (10080307257606447384) 0.9040 1
hittem+guta (13381191715573631010) 0.9040 1
hozzátok!+volna (16112175922572908423) 0.9040 1
meglátogathatnátok+már (16394677456538623500) 0.9040 1
neten+ráakadtam (16749162394237698591) 0.9040 1
gyertek+át! (16380507418293998036) 0.9040 1
nem+bánom (5801219100570796745) 0.9040 1
van!+nem (6065083596033302006) 0.9040 1
addig+úgyis (5276559615367231770) 0.9040 1
nézzük.+azért (6202008476747536240) 0.9040 1
említettem+múltkor (14674589633277812185) 0.9040 1
olyan+ideges (13919232496715946393) 0.9040 1
fogyott+festék (4965815285485082324) 0.9040 1
amit+kerestem (1555896772886945785) 0.9040 1
egy+cégre (16035185321188441307) 0.9040 1
kellemeset+csalódtam! (12057244561398229537) 0.9040 1
egész+család! (6913168306639010739) 0.9040 1
gyorsan+meg (10411933707044474705) 0.9040 1
ezért+írok (4702902009269642592) 0.9040 1
sikerült!+Ügyes (8648451219772468073) 0.9040 1
akciójuk+is. (8695163687047003179) 0.9040 1
egy+prezentációra. (14400087800852024581) 0.9040 1
gondolod+nézd (2957625749275712354) 0.9040 1
mire+elértem (17017618933514696094) 0.9040 1
guta+meg! (11284289011921157636) 0.9040 1
félek+kimenni (18051633397817300585) 0.9040 1
lesznek!+gondoljátok (8352007252977275208) 0.9040 1
pláne+hogy (18149582410214127676) 0.9040 1
szerintem+addig (16858349163425111695) 0.9040 1
dolgozok+éjt (1435539664191102705) 0.9040 1
ráakadtam+egy (13876797458964632808) 0.9040 1
járjon+edzésre. (9581747240197133036) 0.9040 1
megtaláltam+amit (407796365608946045) 0.9040 1
nem+megyünk (17203091837742658991) 0.9040 1
érdemes!+más (357762133121229056) 0.9040 1
FROM*europe.com (14762593262434282717) 0.9040 1
nála+hogy (16297423173903957290) 0.9040 1
csalódtam!+hamar (6730282452767137287) 0.9040 1
szia+anita! (6815429379244774521) 0.9040 1
sokan+lesznek! (5400652303391439063) 0.9040 1
fontos!+amúgy (4194472138914677399) 0.9040 1
olcsóbbat+gépembe (4448373255788152963) 0.9040 1
megyünk+hozzátok! (9372590499741614234) 0.9040 1
akkor+fogyott (16601605580437630644) 0.9040 1
mert+baja (1678123073933775117) 0.9040 1
meleg+van! (15315924811130045656) 0.9040 1
ami+tudod (2127928807642668760) 0.9040 1
bajom+lehet! (8489675718852223328) 0.9040 1
nagy+harc (5848568162294536848) 0.9040 1
szerencsém+van (5051490235368722004) 0.9040 1
régen+beszéltünk (3362139142883756735) 0.9040 1
with esf_h: 1.000000, esf_s: 1.000000
phrase: 1.0000
hrgy84-spam-levele: 1.0000 in 34 [ms]

ASK Me No Questions, I'll Tell You No Lies

Ez magyarra leforditva azt jelenti, hogy egy ilyen/hasonlo spamet mar kaptam, es a szuro akkor megtanulta. Ez annyit bizonyit, hogy a magyar spameket is meg lehet fogni. Annal is inkabb, mert vannak olyan ugyetlenek, akik a csapda email cimemre is elkuldik a sok szemetet...

Egyebkent a hsz-omban arrol van szo, hogy a program kiirta azokat a tokeneket (-parokat), amelyek alapjan kategorizalta a levelet. Mivel csak 0.9 feletti szamok vannak (>90%), ezert a levelet magabiztosan spamkent azonositotta a program.

Ha bovebben is erdekelnek ezek a programok, gyertek el az ubuntu konferenciara vagy a hacktivity-re, amelyeken nagyon vizualisan mutatom be a statisztikai spamszurok kepessegeit.

ASK Me No Questions, I'll Tell You No Lies

Mivel csak 0.9 feletti szamok vannak (>90%), ezert a levelet magabiztosan spamkent azonositotta a program.

Na ezaz, pont ez a célja ennek a spamnek, hogy a spamszűrő megtanuljon egy csomó természetes szöveget, ami a normál emailekben jön és azután a rendes leveleidre is fals pozitívat adjon.

Miután pedig szívsz vele, hogy rendes leveleid vesztek el a szűrő miatt, előbb-utóbb kénytelen leszel kikapcsolni, vagy erősen gyengíteni a szűrőt és ez a fő célja a spamküdőnek.

Tehát itt nem azt kéne demonstrálni, hogy ezt megfogta a szűrőd, hanem azt, hogy a fals pozitívak aránya nem nőtt meg utána.
---
Sok gyerekkel ellentétben én sose akartam tűzoltó lenni. Lettem helyette informatikus. Nem találjátok ki, hogy mit csinálok nap mint nap...

Nem tudom figyelted e, hogy hány token kelett ahoz, hogy ez működjön.. Illetve ha ilyen - bocsáss meg a kijelentésért - csacsiságokat állítasz akkor sztem nyugodtan gyere el a fent említett konferenciák közül az egyikre, hátha tanulsz is valami újat, vagy ha ez nem kivitelezhető akkor legalább olvass utána a dolognak a témán belül..
____________________________________
Az embert 2 éven át arra tanítják hogyan álljon meg a 2 lábán, és hogyan beszéljen... Aztán azt mondják neki: -"Ülj le és kuss legyen!"..

Pontosan melyik állításom a csacsiság? Az, hogy ezt a spamet csakis azért küldik, hogy teleszemeteljék a valószinűségi táblát, hogy utána fals pozitívat adjon? Ha nem akkor mi másért küldenék?

Vagy az, hogy ha az ilyen levelekből elkezd sok jönni, az hosszútávon tényleg gyengíteni fogja a spamszűrők hatékonyságát? Azért sj is azt mondta lejjebb, hogy azért volt ilyen jó most az arány, mert magyar nyelven kevés spam (vagy kevés féle) jön és sok a jó levél, illetve az ő levelezésében kevés olyan szókapcsolat volt, ami ebben a levélben is előfordult. Nyilván mennyiség kérdése minden, ha komolyabban rákapnak az ilyen poisioning jellegű spammelésre magyar nyelven is, akkor szerintem idővel jócskán le tudják rontani az arányokat. Tévednék?
---
Sok gyerekkel ellentétben én sose akartam tűzoltó lenni. Lettem helyette informatikus. Nem találjátok ki, hogy mit csinálok nap mint nap...

Akkor hadd pontositsak egy kicsit. Vegyuk xy-t, aki angol nyelven levelez, es rengeteg angol (nyelvu) ham-et kap, es szinten rengeteg angol spam-et is kap. Emberunk, xy, szinten kap olyan spameket, amelyeket a spammerek azert kuldenek ki, hogy "teleszemeteljek" a token szotarat. A cel egyebkent nem a fals pozitiv "kikenyszeritese", hanem az, hogy a spam atjusson a szuron.

Graham-Cumming vegzett egy kiserletet, amelyben fogott egy olyan piko spamet, amelyet a popfile (az o statisztikai szuroje) korrekt modon felismert. Ezutan fogta a /usr/share/dict/words file-t, es 100-200-400 random szot adott az elobbi piko spam vegere. Az elmelet(ed) szerint egy csomo teves azonositasnak kellett volna bekovetkeznie, azonban 10000 probalkozas soran mindossze 4 esetben kovetkezett ez be. Hogy miert csak ennyi, arrol majd az eloadasokon.

De vissza a magyar spamekhez. A [statisztikai] spamszurok hatekonysagat azert nem gyengiti az, ha sok ilyen levelet kapok, mert amint latod fentebb, egy nagy csomo token (=szo, szopar) csak a spam oldalon szerepel. Mivel a szurom ezt a levelet mar megtanulta, ezert a benne szereplo kb. 6 jo token valoszinusege nem fog tovabb romlani.

A (hazai) spammerek dolgat az is megneheziti, hogy ki kell talaljak, hogy az en token szotaramban milyen jo tokenek vannak. A level alapjan a spammer feltetelezte, hogy ez az artatlannak hangzo nyaralos-balatonos rizsaban lesznek jo tokenek is, es valoban talalt egy parat, de tul keveset.

Hosszu tavon (a tanitasok hatasara) az fog tortenni, hogy a magyar szavak halmazabol le fog tisztulni, hogy melyek a (tulnyomoreszt) csak spamre, ill. csak hamre jellemzo magyar szavak/kifejezesek, ill. lesz egy csomo olyan szo is, amelyik mind a spam, mind a ham levelekre jellemzo, azaz erdektelen.

Kaptam mar olyan piko spamet is, amelyet a szurom mindossze 2 token alapjan nyilvanitott (es helyesen!) spamnek.

ASK Me No Questions, I'll Tell You No Lies

Hát érdekes. Ez a miért nem romlik dolog kicsit kiváncsivá tett, viszont az előadásra elég kérdéses, hogy el tudok-e menni.

Vajon ha azzal próbálkoznának, hogy gyengén védett postafiókokból (pl webmail, aminél csak a login megy https felett, a tényleges forgalom csak sima http felett) ellopott valós mailforgalmat nyomnak ki nagy tömegben spamnek, azzal meg tudnák-e fogni ezt szűrési módszert?
---
Sok gyerekkel ellentétben én sose akartam tűzoltó lenni. Lettem helyette informatikus. Nem találjátok ki, hogy mit csinálok nap mint nap...

valahogyan a spam uzenetet is bele kell tenni a levelbe.
Hát tudom, hogy te jobban értesz ehhez, de én azért már sok olyan spammel találkoztam amiben semmiféle spam üzenet nem volt, csak valami teljesen irreleváns töltelékszöveg. Asszem a mostani is pont ilyen volt. Vagy csak én nem találom meg benne? Mondjuk tény, hogy nem is szoktam keresni tüzetesen :)

Szerintem egy spammer alapvetően 3 okból hozza működésbe az 50000 node-os botnetjét:
1. pénzt akar keresni, ezért olyan hagyományos spamet küld, amiben van "payload"
2. botnetjét akarja bővíteni, ezért olyan levelet küld, amiben valami vírus/worm van
és 3. megtévesztő spamet küld, amiben nincs payload és csak az a célja, hogy a spamszűrők hatékonyságát erodálja

Na alapvetően én végig erről a 3. kategóriáról beszéltem. Én úgy hiszem, hogy ilyen létezik, bár az, hogy kapásból nem vágtad, hogy erre gondolok, mindenesetre elgondolkodtatott, hogy tényleg létezik-e és olyan elterjedt-e amilyennek én gondolom.

UPDATE: kicsit utánaolvastam és amit leírtam (fals pozitív szándékos provokálása) azt Type II. Bayesian Poisioning Attacknak hívják és tényleg vitatott, hogy a spammerek valójában élesben használják-e. A Graham-Cumming-féle teszt amire te hivatkoztál, az viszont Type I támadást (fals negatív kiváltása a payload töltelékkel körberakásával) vizsgált, ez ellen tényleg védenek a bayesian szűrők. Type II támadásról is van kisérleti eredmény. Nekik az a konklúziójuk, hogy a dolog elvben működik, 87%-ról 67%-ra romlott a találati arány, de gyakorlatban kérdéses, hogy érdemes-e használni, mert a fals pozitívokat növeli de a fals negatívokat viszont csökkenti, így a spam is nehezebben jut át. Viszont én úgy gondolom, hogy a dolog működhet, ha a spammer az akarja elérni, hogy az egész spamszűrő rendszert le állítsák a nagy fals pozitív arány miatt, vagy legalábbis kézzel át kelljen vizsgálni mindig a junk könyvtárat is.
---
Sok gyerekkel ellentétben én sose akartam tűzoltó lenni. Lettem helyette informatikus. Nem találjátok ki, hogy mit csinálok nap mint nap...

Letezik a 3. verzio is, bayes-i mergezes a neve, es elmeletileg mukodhet, de annyi energiabefektetest igenyel a spammertol, hogy nem jellemzo a hasznalata. Azert sem, mert az aldozat aktiv kozremukodese is kell hozza: tanitania kell vele a spamszurojet, es nem csak egy alkalommal. A spammernek pedig egyfajta profilt kell keszitenie egyenkent az aldozatairol. Ez tobb millio cimnel aligha jarhato. Szoval ez a trukk inkabb a kollaborativ szuroket kepes megteveszteni (ha ugyan kepes).

Ez a level azonban a toltelekszoveg/szosalata/cnn hirek magyar verzioja. Ezeknel a spammer arra szamit, hogy a tonerrel kapcsolatos spam tokeneket semlegesitik a tuzijatekkal kapcsolatos tokenek. Azert nem jott ossze, mert az en levelezesemben azok nem jo tokenek.

ASK Me No Questions, I'll Tell You No Lies

Kezdem azt hinni, hogy mindkettőtöknek igaza van :) Ha jól értem XMI problémáját, akkor ő nagyban próbálja meg lefedni a kérdéskört és nem egy személyhez köthető profilként igyekszik egy jó spamszürőt létrehozni az itt vázolt bayes szűrő segítségével, hanem inkább egyfajta globális megoldást keres magára a SPAM szűrésre, és így az általa felállított elméletben keresi előre is a gyenge pontokat.
Ezzel sj azzal védekezik, hogy ez a támadás nála nem válik be, mert az ő személyes profiljában /szokásaiban az ilyen fajta mailek normál körülmények között nem fordulhatnak elő, így a szűrő ezek kiszűrésére lett betanítva..

Ergo ahhoz, hogy ez hatékonyan el tudjon terjedni az kéne, hogy minden embernek otthon saját profilt kéne létrehoznia, és azt folyamatosan tanítania, hogy ilyen jó SPAM szűrési arány lehessen általánosságban..

Azonban most elgondolkodva, hogy - mondjuk - ez nagyvállalati környezetben mennyire használható már jóvalta problémásabb szituációba kerülünk, hiszen több féle típusú és tartalmú levelet kéne szürni, ahol is akár osztályonként, de még lehet személyenként is lehet más-más token-ek használhatóak, így a fals eredmények megelőzése érdekében azon tokeneket amik egy másik osztály/személy leveleit fals eredményre juttatnák az elemzés után kénytelenek lennének alacsonyabb prioritással kezelni, vagy akár végleg megszüntetni..
Itt viszont látom értelmét annak amit XMI felvetett ( kicsit zavarjuk össze a token adatbázist ), ám számomra most nyitott kérdés maradt, hogy vajon vállalati szinten hány olyan tokent tudnánk összegyűjteni, ami alapján 95% fölötti SPAM elfogási hatékonyságot tudnánk elérni, és az ilyesfajta -nagy közösséget lefedő - típusú SPAM-ek ellen is hatékonyan tudnánk védekezni..
/* Többek között ezért is tartottam XMI hozzászólását csacsiságnak, ugyan is ahhoz, hogy ennyi token vizsgálat után ne ítélje a SPAM szűrő SPAM-nak a mailt szinte lehetetlen.. Most viszont belegondolva ha a tokenek kiértékelése után az eredmény nem egyértelműen SPAM lenne ( nem 1.0-át kapna a kiértékelés végén ), hanem mondjuk 0,7 akkor már lehet érdekesebb eredmény születne sok ilyen támadás után */
____________________________________
Az embert 2 éven át arra tanítják hogyan álljon meg a 2 lábán, és hogyan beszéljen... Aztán azt mondják neki: -"Ülj le és kuss legyen!"..

Nagyvallalati kornyezetben en az alabbit probalnam ki: a mail admin-ok letrehoznak egy globalis adatbazist (G), amit csak ok tanitanak, igy az nem fertozodhet meg. A felhasznaloknak pedig megengedik, hogy azt perszonalizaljak, azaz egyeni kiegeszito adatbazisokat (P1, P2, ... Px) hozzanak letre (ha akarnak).

Amikor x felhasznalo levelet kap, akkor a G+Px adatbazisok uniojat latja, es ez alapjan dol el, hogy a level spam vagy sem. Tegyuk fel, hogy mindig atveri ot egy mocsok magyar spammer, es megmergezteti vele a sajat (Px) adatbazisat, es igy o "sok" fals pozitiv hibat tapasztal.

Mit lehet ebben az esetben tenni?

A) hasznaljon feher listat
B) tanitsa a fals pozitivokat
C) dobja el a sajat adatbazisat (Px), es kezdje ujra

Szoval nem remenytelen a dolog vallalati kornyezetben sem. De azert tegyuk azt is hozza, hogy ez azert egy folyamat, es nagyon szerencsetlennek kell lenni ahhoz, hogy ez mukodjon x user ellen.

ASK Me No Questions, I'll Tell You No Lies

Igen, csak alapvetoen ugye az a baj, hogy a statisztikai szuro mukodesehez eleve kell egy kezdo tanitas, megpedig nem csak spam, hanem ham oldalrol is. Namarmost: mi alapjan csinalnad az inicializacios tanitast a globalis adatbazisra? Az oke, hogy migracional a Px adatbazisok rendben letrejonnenek, a spam altalaba mindenkinek ugyanaz (mehet globalisba is, meg a Px-be is), a ham meg mindenkinek a sajat egyeni levelezese. A globalis adatbatis eseteben viszont csak a spam oldal van meg, a ham nem, vagy alig. Ugye mindenkinek a levelezeset nem tanithatod meg globalis hamkent, mert akkor pont a perszonalizacio veszti ertelmet (minden user osszes ham tokenje globalis lesz). Vehetsz nehany altalanos hamet, de az meg eleg keves lesz egy normalisan mukodo ham adatbazishoz.
-- 


()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.

Elolvastam a cikket, koszonom, hogy ajanlottad. Eloszor is hadd hangsulyozzam, hogy ez a fajta tamadas (a cikk szerint) aligha azonnali es kozvetlen veszely, masreszt azt allitja, hogy akkor igazan hatasos, ha a leheto legtobb spammer reszt vesz benne, ami bizonytalan (meg akkor is, ha esetleg osszedolgozhatnak).

Az is szerepel a cikkben, amit en is irtam, hogy ehhez a felhasznalo aktiv kozremukodese kell. Tegyuk fel, hogy a spammer ezeket a szavakat lathatatlan tintaval irja, vagy html kommentbe teszi, hogy a user ne fogjon gyanut. De tobb bayes-i implementacio ugy mukodik, hogy amit a felhasznalo nem lat (ez elobbi okok miatt), azt o sem veszi figyelembe. Ha pedig egyszeruen odavagja a vegere, az azert csak feltunik neki. (SJ tetele: ha megsem tunik fel neki, akkor aligha van olyan lelkes/aligha kepes egyaltalan arra, hogy tanitsa is a szurot).

A cikkben emlitett "trustworthiness" vedelmet nem alkalmazom, de egy masfelet igen. A spamszurom elso korben csak a token parokat vizsgalja. A spammer persze a level vegere dobalhat random szavakat, de kicsi annak az eselye, hogy azokbol ertelmes token parok alakuljanak ki, arrol nem is beszelve, hogy ezt minden nyelven meg kellene tenniuk egy adott levelben, vagy nyelvenkent kellene egyedive tenni a spameket, legalabbis elmeletben, ha tutira akarnak menni.

Masreszt Cumming eredmenye a type II-nel is igaz, megpedig az, hogy a random szavak nagyobb resze ismeretlen a token szotarban, egy kisebb resze pont a spamekre jellemzo, es csak egy meg kisebb resze szerepel a ham oldalon. Ezt azt jelenti, hogy a felhasznalo, ha tanitja a levelet, akkor csak keves jo tokent tesz tonkre/degradal le, ill. azt, hogy a spammer aligha talal jo szavakat/kifejezeseket, amiket le tud rontani.

En eddig nem talalkoztam ilyen kiserlettel, legalabbis a szurom "szokasos" fals pozitiv rataja nem nott meg.

ASK Me No Questions, I'll Tell You No Lies

Pl. a "szia+anita!", "meleg+van!", "molyolni+neten" kifejezesek valoban termeszetes szovegek, de nem az en levelezesemben. Jobban atnezve talaltam valoban "termeszetes" kifejezeseket is, pl.

mert+most (1678123073964721353) 0.0572 1
viszont+nem (11223661500238891965) 0.0538 1
van+ilyen (5435307526230615906) 0.1072 1
nem+sok (10144869790411825204) 0.0731 1
nem+nagyon (14237933349623500561) 0.0869 1
szerettem+volna (13876744511529931510) 0.0407 1
nem+lehet (15248604592675665833) 0.1012 1

Jol lathato, hogy bar az ezek spam valoszinusege kisse magasabb lett, de meg mindig jo, csak - ahogy Huncraft is megjegyezte - annyi spamre jellemzo token volt ezek mellett, hogy a level vegul szinten spam lett. Ha pedig ezutan valaki egy jo levelet kuld az elobb emlitett kifejezesekkel, akkor az meg mindig ham, mivel azok sokkal tobbszor szerepelnek a ham oldalon, mint a spam oldalon.

A fals pozitivok miatt azert sem kell nagyon felnem, mert egy atlag magyar felhasznalo (pl. en) sok magyar nyelvu jo levelet kap, es keves magyar nyelvu spamet, tehat csak a valoban spamre jellemzo magyar kifejezeseknek lesz magas a spam valoszinuseguk.

De gyere el valamelyik konferenciara, es ha erdekel, elmondom eloszoban is.

ASK Me No Questions, I'll Tell You No Lies

Igazabol a clapffal csak harom baj van:
- Nincs az ismert disztrokon tesztelve a forditas (configure/make) sikeressege barmely supportalt konfiguracion. Nagyon sok problemaja van meg a nightlynak is.
- Az autoconf rendszer ugy van eroltetve, hogy nem ertesz hozza. Nem gond, csak akkor inkabb legyen egy sima Makefile, ha azzal jobban boldogulsz
- Nincs belole popularis disztrokhoz csomag, marpedig az elozo ket gond ismereteben ez talan megoldas lehetne.

Azt az erzest kelti, hogy nem foglalkozol vele. Nem mondom, hogy ez igy van, csak a latszat ez. Neked, aki ismeri a program szuksegleteit kb. eg nap raaldozasaval rendbe lehetne rakni, es lehetne produktiv kornyezetbe alkalmazni. Igy sajnos lehetetlen.
-- 


()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.

Au! Ez fajt. Az "ismert disztro" elegge keplekeny fogalom. 2-3 disztron teszteltem, es rendben fordul. Egy forditasnak pedig nem kellene disztro-fuggonek lennie. Debian alatt jeleztek problemat, ami a disztroban levo elegge regi verzioju sqlite miatt jon elo, de emiatt nem nekem kene szegyenkeznem, mert ez egyreszt debian problema, ill. keszitettem hozza fix-et. Az autoconf pedig muszaj, mert mar annyi opcioja van, hogy az kezelhetetlen egy makefile-lal. Hogy "nem ertek" hozza? Hmm... hhoz kepest mukodik. Az meg gondolom, minden alkalmazasra igaz, hogy ugy lesz egyre jobb, ha a felhasznalok kuldik a bug report-okat, es elmondjak, hogy nekik mire van szukseguk, hogy mi faj. Ezt tobben meg is tettek, es fixalodtak is (azok) a hibak. Szoval, ha meg "sok problemaja" van a nightly-nak, ne legy szegyenlos...

ASK Me No Questions, I'll Tell You No Lies

Perl scripteket nem talal, .in fajlokbol nem hoz letre normalis fajlokat (sed scriptek valamiert nem futnak le), szoval nem gondolnam, hogy sqlite problemak vannak. A honlapon ajanlott cdb megoldas sem mindig jon ossze neki, stabil debianon tesztelve. Meg fogom neked nezni, de most probaltam beuzemelni, es igazabol meg mindig ott tartok, hogy lehet, hogy SA-val egyszerubb lenne. A honlapon lehetnenek peldakonfigok postfixhez/eximhez, az is sokat segitene a nepszerusegen, mert nem egyszeru peldaul a blackhole beallitasa.

Nekem a mukodik szo azt jelenti, hogy a './configure ${CONF_OPTS} && make && make install' script hiba nelkul lefut. Ezt eddig nem sikerult osszehozni. Probald meg egy teljesen szuz virtualis gepen telepiteni az angol howtodat szigoruan kovetve. Lehet, hogy a howto problemaja, az is lehet, hogy en nem tudok forrasbol tenni dolgokat, de nekem tobb bajom van vele, mint amennyi hasznom volt vele.
-- 


()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.

Kiprobaltam vmware alatt arch linuxon, configure; make; make install: csont nelkul. A sed ok (version 4.1.5), perl scriptek a helyukon. Te milyen hibat kapsz a sed-re?

A honlapon pedig mar egy jo ideje nem kene cdb-re valo hivatkozasnak lenni, a jelenleg tamogatott db-k: mysql es sqlite3 (ill. van meg egy (mydb), amit meg experimental-kent tesztelek).

A blackhole beizzitasa itt le van irva: http://clapf.acts.hu/blackhole.html, de ha elakadsz, szolj es segitek.

Ha elarulod, hogy milyen kornyezetbe telepitened, akkor irok hozza egy minta konfigot is.

ASK Me No Questions, I'll Tell You No Lies

Nem tudom most megnezni, de ossze fogom irkalni mi nem megy, csak most nincs vmware a kozelembe. Te milyen opciokkal nyomtad a configure-t?

A blackhole howtoddal az a gond, hogy virtual domaining rendszerben hasznalhatatlan, mert a maildrop nem tud mysql/ldap-bol eloszedni semmit, es a cimek csak mysql/ldap-ban leteznek. Olyan howto lenne igazabol jo, amihez nem kell extra program (filter alias?).
-- 


()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.

./configure --with-clapf-user=clapf --with-tokendb=sqlite3 --enable-blackhole --enable-rbl --enable-whitelist

A blackhole howtoddal az a gond, hogy virtual domaining rendszerben hasznalhatatlan,

Teljesseggel lehetetlen egy olyan email cimet csinalni, ami egy real user accountra megy? Ill. meg lehet azt oldani, hogy egy virtualis email cimre erkezo levelet a maildrop kezeljen le? Egyaltalan ez milyen kornyezet? Postfix? Exim? ???

ASK Me No Questions, I'll Tell You No Lies

Postfixet mintha emlitettem volna, de akkor legyen tiszta: postfix. Az lenne a jo, ha minden virtualis domainnek lenne egy blackhole-ja, mert a mittudomain.com oldalon a supportline+hot@mittudomain.com email cimre jobban harapnak a botok, mint a sup@nevenincs.com e-mail cimre.

A maildrop azert problemas, mert nalam meg a postafiokok helye is mysql-bol erkezik, a pf a vilagon semmit nem tud magatol kitalalni. Ez azert gond, mert a master.cf-be nem igazan van tippem, h hogy lehetne a maildropnak a MAILDIR helyet egesz konkretan megadni, scriptbol meg ugye nagyon melos ezt kiszamitgatni a cimzettbol (meg mysql-ben is eleg hosszu mire a emailcim alaku usernevbol konkret maildir hely lesz).

Nem titkolt cel lenne egy hathatos spam adatbazis osszegyujtese a blackhole-n keresztul.
-- 


()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.

Meg nem jutottam el oda, hogy vmware alatt jatsszak vele (szoval nem teszteltem meg), de a postfix doksi (http://www.postfix.org/VIRTUAL_README.html#mailing_lists) alapjan mukodhet a dolog. Annyi kell, hogy a csapda email cimet (ami definialhato mysql tablakban is, imho) egy fizikai account-ba kell tolni + egyetlen /etc/aliases bejegyzes kell hozza. Ez igy jo lehet nalad?

ASK Me No Questions, I'll Tell You No Lies

( Nyosigomboc v | 2008. 08. 17., v – 23:39 )

Ezt is a CFM csinalta?
A headert be tudod illeszteni ide vagy pastebinbe?

----
It doesn't take a rocket scientist to program a computer, it takes a programmer.
honlapkészítés

( msandor v | 2008. 08. 19., k – 13:36 )

az általam favorizált Maia Mailguard esetén ezt úgy oldottam meg, hogy van egy vagy több "mézesbödön" /sj is használ ilyet/ e-mail cím, amit "normális" ember nem ismerhet(!), azaz ha a fent említett levél oda beesik, akkor az többet nyom a latban, mint egy felhasználó saját tokene...
[ettől még a juzer felülbírálhatja, ha ilyen leveleket szeretne olvasgatni :-)]

--
by Mikul@s