freemail.hu spam szűrés

mindenesetre szep elmelet. Kar, hogy arrol megfeledkezel, hogy egyreszt vannak ostobak (pl. akik az uceprotect nevu hulladekot hasznaljak, hello invitel!), masreszt amig spammer sanyi miatt blokkolasra kerul a szolgaltatoja smtp relay-je, addig a tobbi ugyfel is sziv, spammer sanyi miatt. Jahhogy o fizetett erte...

--
"Pont attól akartam megkímélni magam, hogy gondolkodni kelljen ;)" (lajos22)

Biztos, hogy nem AS-t. Addig sikerült debugolni, hogy ha bárhol szerepel az email fejlécben a bizonyos domain, akkor visszapattintják a mailt. Ez pedig érthetetlen számomra, mert legalább 4-5 szerverünk van és köztük olyan is, ahol SZIGORÚAN TILOS bármilyen hírlevél vagy tömeges email küldése. (Igen, így nagy betűvel és aki esetleg bűnbe esik, az is nagyon hamar átlátja, hogy nem kéne a biznisz levelézése alatt vágnia a fát.) Természetesen egyik gépünkön se engedünk spammelést, de van jónéhány épített/rendes listás hírleveles ügyfél, amik teljesen rendben lévőek.

A szervereink és hálózati eszközeink a Dataplexben vannak, és a kapcsolattartói címünkről az ottani hosting elérhetőségre írva értünk el szakembert.

Levelezést hosztolunk. Az egyik ügyfelünk panaszkodott, hogy a freemail.hu visszadobálja a leveleket, amiket a mi szerverünkről küldött, freemail.hu-s ügyfelének (csak nekem fura, hogy valaki komoly levelezést rá mer bízni a freemail-re?). Ugyanezen szerverünkről, egy másik domainból probléma nélkül tudtam küldeni, egy freemail-es teszt fiókba. Aztán hol működött az ügyfelünknek, hol nem (miközben a szerverünk reputációja az mxtoolboxos blacklisták szerint makulátlan volt). Megtaláltam ezt a topikot anno, írtunk a Freemail-nek, és talán válaszoltak is valamit (most hirtelen nem emlékszem, de utánanézhetek), aztán tudomásom szerint megoldódott a probléma. Ezek alapján nekem kívülről a freemail spamszűrője valami saját fejlesztésű, hasraütésszerű, átgomdolatlan megoldtákolásnak tűnik.

Szia! Igen az info datanet.hu-ra grey list szerűen, de 11 perc után elment, az info gts.hu-ra pedig rögtön.

Sziasztok!

Tamás Péter vagyok a Freemailtől.
Innentől megtalálhattok ezen a portálon is, valamint e-mailben elértek a tamas.peter@origo.hu címen. A regisztrációm célja, hogy elősegítsem a Freemaillel kapcsolatos problémáitok megoldását.
Ezt a kommentemet most át fogom másolni a többi topic-ba is, ahol találkoztam Freemaillel kapcsolatos problémákkal, ezért elnézéseteket kérem, hogy most nem válaszolok minden kommentre külön-külön személyesen, viszont igyekszem választ adni egyben minden felmerült kérdésre, problémára.

=== a Freemail spamszűréséről ===

A Freemail spamszűrése jelenleg a Cloudmark (https://www.cloudmark.com/en) spamszűrésén és számos külső blacklist együttműködésén alapszik.

A Cloudmark spamszűrője 0-100 pont közötti pontszámot ad minden levélnek.
Mi jelenleg azon leveleket dobjuk el, amik 100 közeli pontszámot érnek el, vagy kevesebb pontot kapnak, de szerepelnek egy vagy több BL-en. Azért nem írom le, hogy ez 98 vagy 95, mert ezen időről időre szoktunk mi is állítani.

Azok a levelek kerülnek a spam mappába, amik nem 100 közeli, de magas pontszámot értek el, vagy alacsony pontszámot kaptak, de fent vannak pontosan 1 BL-en (ha többön, akkor eldobjuk a levelet).

=== a Cloudmark spamszűrő technológiájáról, avagy mi alapján kap egy levél 0-100 pontot ===

A Cloudmark spamszűrő technológiájának lelke az ún. fingerprinting algorithm (https://www.cloudmark.com/en/press/new-cloudmark-fingerprinting-algorit…).

Ez nagyon leegyszerűsítve, azt csinálja, hogy:
* apró elemeire bontja a teljes levelet, annak fejlécével, tartalmával együtt,
* “ujjlenyomatokat" készít a levél minden apró részéről,
* a levélhez tartozó ujjlenyomatokat megfuttatja az ujjlenyomat adatbázisában,
* ha talál spamnek vagy vírusnak jelentett ujjlenyomatot a levélben, elkezdi lefelé pontozni a levelet,
* ha sok negatív ujjlenyomatot talál vagy csak egyet, ami "nagyon negatív", az már 100 közeli pontszámot eredményez

Negatív jelzést egyedül a felhasználóktól kaphatnak az ujjlenyomatok.
Amikor egy felhasználó spamnek jelent egy levelet:
* a spamnek jelentett levelet elküldjük automatikusan a Cloudmarknak,
* a Cloudmark a levél ujjlenyomatait összehasonlítja a többi spamnek jelentett levél ujjlenyomataival, és hasonlóságot keres,
* azon ujjlenyomatokat, amit több különböző spamnek jelentett levélben is megtalál, megjegyzi, mint negatív ujjlenyomatot

Minek lehet ujjlenyomata egy levélben?
Bárminek…
* egy képnek (akár logónak, stock fotónak),
* egy szónak (akár cégnévnek),
* egy szövegrésznek,
* egy csatolmánynak,
* …

A Cloudmark ezeket intelligensen dolgozza fel, hogy pl a “Kedves XY” kifejezést még véletlenül se értékelje negatív ujjlenyomatként.

=== a tapasztalataink a jelenlegi spamszűrésünkkel ===

Sajnos vegyesek...
Egyrészt azt látjuk, hogy alapvetően működőképes ez az algoritmus: nem büntet ok nélkül.
Másrészt van olyan eset, amikor túlzónak érezzük a döntését (pl domain szintű tiltások).
Harmadrészt vannak olyan spammerek, akik egész gyorsan rátanultak arra, hogy hogyan tudják kijátszani.
Azaz egyszerre érezzük túl erősnek és túl gyengének a jelenlegi szűrésünket.
Ez egy probléma, ami egyaránt érint titeket is és minket is.

Remélem ezen a fórumon vagy e-mailben vagy egyéb módon kialakul közöttünk egy olyan párbeszéd,
amelyben a kritika helyett az érdemi megoldást tekintjük mindannyian közös célnak.

Kifejtem kicsit bővebben a vegyes tapasztalatainkat.

Azt látjuk, hogy a jelenlegi spamszűrésünk alapvetően nem büntet ok nélkül:
* a hozzánk beérkezett panaszokat kivizsgálva az esetek 90+%-ában a levelek eldobásának az oka az, hogy
** vagy csapda címekre is (nem tiszta adatbázisra) küldenek leveleket,
** vagy a felhasználók tömegesen jelentik spamnek a küldő leveleit,

Azt is látjuk, hogy a jelenlegi spamszűrésünk néhány esetben túlzó döntéseket hoz:
Például találkoztunk tárhelyszolgáltató céggel, akiknek a tárhelyein egyszerre voltak tömegesen reklámlevelet küldők, magán weboldalak és a cégnek a saját levelező szolgáltatása.
A közös az volt a náluk lakó összes kisebb szolgáltatásban, hogy a tárhelyszolgáltatótól küldött levelek láblécébe a cég automatikusan odarakta a tárhelyszolgáltató megnevezését.
Amikor ennél a tárhelyszolgáltatónál volt olyan időszak, hogy:
* volt nála olyan magán webhely, amit támadók feltörtek, és vírusos leveleket küldtek onnan,
* voltak olyan tömeges levelek, amit rajtuk keresztül küldtek, és sokan jelentették spamnek ezeket a leveleket,
akkor a Cloudmark arra tanult rá, hogy ezekben a levelekben a közös az, hogy mindegyik alján szerepel a tárhelyszolgáltató neve,
ezért elkezdett eldobni minden levelet, aminek az alján megtalálta ezt a nevet.
Ez azt jelentette, hogy a tárhelyszolgáltató cég által nyújtott személyes levelező szolgáltatásról küldött levelek sem érkeztek meg Freemailre.

Azt látjuk, hogy a jelenlegi spamszűrésünket még mindig ki tudják játszani a spammerek:
Ezen nagyon nincs mit részletezni, sajnos még mindig jóval több spam jut át a spamszűrésünkön, mint amennyit szeretnénk.
Ez ellen folyamatosan küzdünk, ahogy a spammerek is folyamatosan alkalmazkodnak.

=== mi a megoldás jelenleg? ===

Először is különböztessük meg a Freemail felé _tömegesen_ érkező leveleket 2 típusát:
* vannak adminisztratív levelek,
* vannak nem adminisztratív levelek (reklám célú, marketing jellegű levelek)

Adminisztratív levelek definíciója a mi olvasatunkban:
"azok a levelek, amelyeket logikus körülmények között a felhasználó sosem jelentene spamnek".

Ezek azok a levelek, amikért mindent megteszünk, hogy bejusson a felhasználóink inboxába.
Ha kell - és ha máshogy nem biztosítható ez -, whitelist-re tudjuk tenni azokat az IP címeket, ahonnan csak és kizárólag adminisztratív jellegű levelek érkeznek.
A whitelist lehetőségét felajánlottuk mindenkinek, aki ilyen jellegű problémával megkeresett minket, ez a lehetőség nyitott mindenki számára, akinek az adminisztratív levelei egyébként nem feltétlenül jutnának be a Freemailen inboxba. Ilyen például a fenti tárhelyszolgáltató cég esete.
A whitelist lehetőségnek a következő feltételei vannak:
* az adminisztatív leveleknek külön IP címről kell érkezniük, amin csak és kizárólag adminisztratív levelek érkeznek,
* amint megtaláljuk az első nem adminisztratív levelet, ami whitelist-es IP-ről érkezik, töröljük a whitelistről az IP címet, és nem adunk újabb lehetőséget visszakerülni ide (innentől ugyanannyi esélye van bekerülni ezeknek a leveleknek, mint bármely más levélnek)

Nem adminisztratív levelek esetén a következő a teendő a jelenlegi folyamataink szerint:
1. Küldjetek nekünk e-mailt az info@freemail.hu címre (biztos, ami biztos, cc-be nyugodtan berakhattok engem is: tamas.peter@origo.hu) a következő információkkal:
* küldő IP cím(ek)
* log részlet, amelyben látszik:
** a pontos hibaüzenet
** a küldés pontos időpontja
** a címzett
2. Ekkor mi feljegyezzük a panaszhoz tartozó:
* időpontot
* cégnevet
* kapcsolattartót és e-mail címét
3. Ha a panaszban nincs a nyomozáshoz elegendő technikai információ (lásd 1.), bekérjük ezeket
4. Elegendő technikai információ birtokában Freemail szerver oldali logot kérünk az eldobott levélhez (ebben van benne ugyanis a spamszűrő által elhelyezett kódolt string, amely az eldobás okának ujjlenyomatait tartalmazza)
5. A Freemailes szerver oldali logot elküldjük elemzésre a Cloudmarknak
6. A Cloudmarktól megkapjuk az elemzés eredményét
7. Az elemzés ereményét feljegyezzük a panaszhoz
8. Az eredménytől függően a következők lehetségesek:
* Ha nagy problémát látunk (pl vírus küldés):
** ezt jelezzük a küldő felé,
** kérjük, hogy ezt oldja meg, majd vegye fel velünk ismét a kapcsolatot
* Ha a küldőnek ez az első problémája nálunk:
** reset-eljük a hozzá tartozó ujjlenyomato(ka)t,
** megírjuk neki, hogy a probléma okát, és hogy min változtasson ahhoz, hogy a jövőben ezt elkerülje,
** megírjuk neki, hogy reseteltük
* Ha a küldő már korábban is járt nálunk hasonló problémával:
** megírjuk neki, hogy a probléma okát, és hogy min változtasson ahhoz, hogy reseteljük
* Ha csak admisztratív leveleket érint a probléma (ilyen még nem volt):
** reseteljük a hozzá tartozó ujjlenyomatot,
** ha már korábban reseteltük, és ismét fennáll a tiltás, és nem látunk nála problémát: whitelistre tesszük az IP címét
* Ha adminisztratív levelei is érintettek a problémában (ilyen előfordul):
** ha az adminisztratív levelek külön IP címről érkeznek, és más úton nem tudjuk megoldani, hogy beérkezzenek ezek a levelek (lásd a tárhelyszolgáltatós történet): whitelistre tesszük ezt az IP címét
** ha az adminisztratív levelek ugyanazon IP-ről érkeznek, mint a reklámlevelei, megkérjük, hogy ezeket szedje szét, és ezután reseteljük

Ennek a folyamatnak az átfutási ideje normál esetben 1-2 nap.

Többen írtátok, hogy az info@freemail.hu-ról nem kaptatok választ.
Ezért elnézéseteket kérem, az utóbbi napokban ezek a levelek nem jutottak el hozzánk, ma reggel kezdtük el feldolgozni az időközben ide érkezett ~300 levelet.

=== miben látjuk a hosszú távú megoldást? ===

Amint lehet, szeretnénk elindítani a Freemail feedback loop szolgáltatását.
A feedback loop ugye azt jelenti, hogy:
* a felhasználói spam jelentések tényét elküldjük a levél küldőjének is
* a küldőnek innentől lehetősége lesz leiratkoztatnia az adatbázisából azokat a felhasználókat, akik spammernek értékelik őt,
* így a küldőnek lehetősége lesz folyamatosan magas reputációt fenntartani, és a levelei meg fognak érkezni az inboxba,
* amelyik küldő figyelmen kívül hagyja majd a feedback loop által küldött felhasználói spamjelentéseket, annak pontosan meg tudjuk majd mondani, hogy miért rossz a reputációja, és hogy tud ezen azonnal javítani.

Ez a szolgáltatásunk úgy gondoljuk megoldás lesz a jelenlegi problémára, miszerint a spamszűrőnk eldob leveleket azért, mert sok felhasználó spamnek ítéli ezeket a leveleket, de jelenleg nem tudunk érdemi segítséget nyújtani a küldőknek az adatbázisuk tisztításában.
Ez nyilván nem jelent megoldást a továbbra is beérkező sok spamre, de ha lesz feedback loop szolgáltatásunk, bátrabban erősíthetünk majd a szűrésünkön is.

Igyekszünk mielőbb publikálni a feedback loop szolgáltatásunkat, az indulásig a türelmeteket kérem (sajnos hónapokról beszélünk, nem hetekről).

Remélem segítettem, és tudok még segíteni nektek, ha folytatjuk a beszélgetést itt vagy e-mailben (még egyszer: tamas.peter@origo.hu).
Szívesen bármi konstruktív hozzászólást, ötletet, tanácsot a témában, keressetek bátran.
Előre elnézést kérek, ha nem rögtön válaszolok, de legkésőbb 1-2 nap alatt reagálok minden felé érkező levélre.

Megoldódott! Sikerült a kapcsolatfelvétel, de a logokat nem az info@freemail.hu ra küldtem, mert oda nem tudtam átzavarni.
Onnantól kezdve viszont 24 órán belül megoldódott. 20 perce jött a levél, hogy feloldották a tiltást.
A magam részéről ürülök, ha tartós lesz a megoldás és megvalósul a rugalmas kapcsolatfelvétel probléma esetén.