Sziasztok!
Tamás Péter vagyok a Freemailtől.
Innentől megtalálhattok ezen a portálon is, valamint e-mailben elértek a tamas.peter@origo.hu címen. A regisztrációm célja, hogy elősegítsem a Freemaillel kapcsolatos problémáitok megoldását.
Ezt a kommentemet most át fogom másolni a többi topic-ba is, ahol találkoztam Freemaillel kapcsolatos problémákkal, ezért elnézéseteket kérem, hogy most nem válaszolok minden kommentre külön-külön személyesen, viszont igyekszem választ adni egyben minden felmerült kérdésre, problémára.
=== a Freemail spamszűréséről ===
A Freemail spamszűrése jelenleg a Cloudmark (https://www.cloudmark.com/en) spamszűrésén és számos külső blacklist együttműködésén alapszik.
A Cloudmark spamszűrője 0-100 pont közötti pontszámot ad minden levélnek.
Mi jelenleg azon leveleket dobjuk el, amik 100 közeli pontszámot érnek el, vagy kevesebb pontot kapnak, de szerepelnek egy vagy több BL-en. Azért nem írom le, hogy ez 98 vagy 95, mert ezen időről időre szoktunk mi is állítani.
Azok a levelek kerülnek a spam mappába, amik nem 100 közeli, de magas pontszámot értek el, vagy alacsony pontszámot kaptak, de fent vannak pontosan 1 BL-en (ha többön, akkor eldobjuk a levelet).
=== a Cloudmark spamszűrő technológiájáról, avagy mi alapján kap egy levél 0-100 pontot ===
A Cloudmark spamszűrő technológiájának lelke az ún. fingerprinting algorithm (https://www.cloudmark.com/en/press/new-cloudmark-fingerprinting-algorit…).
Ez nagyon leegyszerűsítve, azt csinálja, hogy:
* apró elemeire bontja a teljes levelet, annak fejlécével, tartalmával együtt,
* “ujjlenyomatokat" készít a levél minden apró részéről,
* a levélhez tartozó ujjlenyomatokat megfuttatja az ujjlenyomat adatbázisában,
* ha talál spamnek vagy vírusnak jelentett ujjlenyomatot a levélben, elkezdi lefelé pontozni a levelet,
* ha sok negatív ujjlenyomatot talál vagy csak egyet, ami "nagyon negatív", az már 100 közeli pontszámot eredményez
Negatív jelzést egyedül a felhasználóktól kaphatnak az ujjlenyomatok.
Amikor egy felhasználó spamnek jelent egy levelet:
* a spamnek jelentett levelet elküldjük automatikusan a Cloudmarknak,
* a Cloudmark a levél ujjlenyomatait összehasonlítja a többi spamnek jelentett levél ujjlenyomataival, és hasonlóságot keres,
* azon ujjlenyomatokat, amit több különböző spamnek jelentett levélben is megtalál, megjegyzi, mint negatív ujjlenyomatot
Minek lehet ujjlenyomata egy levélben?
Bárminek…
* egy képnek (akár logónak, stock fotónak),
* egy szónak (akár cégnévnek),
* egy szövegrésznek,
* egy csatolmánynak,
* …
A Cloudmark ezeket intelligensen dolgozza fel, hogy pl a “Kedves XY” kifejezést még véletlenül se értékelje negatív ujjlenyomatként.
=== a tapasztalataink a jelenlegi spamszűrésünkkel ===
Sajnos vegyesek...
Egyrészt azt látjuk, hogy alapvetően működőképes ez az algoritmus: nem büntet ok nélkül.
Másrészt van olyan eset, amikor túlzónak érezzük a döntését (pl domain szintű tiltások).
Harmadrészt vannak olyan spammerek, akik egész gyorsan rátanultak arra, hogy hogyan tudják kijátszani.
Azaz egyszerre érezzük túl erősnek és túl gyengének a jelenlegi szűrésünket.
Ez egy probléma, ami egyaránt érint titeket is és minket is.
Remélem ezen a fórumon vagy e-mailben vagy egyéb módon kialakul közöttünk egy olyan párbeszéd,
amelyben a kritika helyett az érdemi megoldást tekintjük mindannyian közös célnak.
Kifejtem kicsit bővebben a vegyes tapasztalatainkat.
Azt látjuk, hogy a jelenlegi spamszűrésünk alapvetően nem büntet ok nélkül:
* a hozzánk beérkezett panaszokat kivizsgálva az esetek 90+%-ában a levelek eldobásának az oka az, hogy
** vagy csapda címekre is (nem tiszta adatbázisra) küldenek leveleket,
** vagy a felhasználók tömegesen jelentik spamnek a küldő leveleit,
Azt is látjuk, hogy a jelenlegi spamszűrésünk néhány esetben túlzó döntéseket hoz:
Például találkoztunk tárhelyszolgáltató céggel, akiknek a tárhelyein egyszerre voltak tömegesen reklámlevelet küldők, magán weboldalak és a cégnek a saját levelező szolgáltatása.
A közös az volt a náluk lakó összes kisebb szolgáltatásban, hogy a tárhelyszolgáltatótól küldött levelek láblécébe a cég automatikusan odarakta a tárhelyszolgáltató megnevezését.
Amikor ennél a tárhelyszolgáltatónál volt olyan időszak, hogy:
* volt nála olyan magán webhely, amit támadók feltörtek, és vírusos leveleket küldtek onnan,
* voltak olyan tömeges levelek, amit rajtuk keresztül küldtek, és sokan jelentették spamnek ezeket a leveleket,
akkor a Cloudmark arra tanult rá, hogy ezekben a levelekben a közös az, hogy mindegyik alján szerepel a tárhelyszolgáltató neve,
ezért elkezdett eldobni minden levelet, aminek az alján megtalálta ezt a nevet.
Ez azt jelentette, hogy a tárhelyszolgáltató cég által nyújtott személyes levelező szolgáltatásról küldött levelek sem érkeztek meg Freemailre.
Azt látjuk, hogy a jelenlegi spamszűrésünket még mindig ki tudják játszani a spammerek:
Ezen nagyon nincs mit részletezni, sajnos még mindig jóval több spam jut át a spamszűrésünkön, mint amennyit szeretnénk.
Ez ellen folyamatosan küzdünk, ahogy a spammerek is folyamatosan alkalmazkodnak.
=== mi a megoldás jelenleg? ===
Először is különböztessük meg a Freemail felé _tömegesen_ érkező leveleket 2 típusát:
* vannak adminisztratív levelek,
* vannak nem adminisztratív levelek (reklám célú, marketing jellegű levelek)
Adminisztratív levelek definíciója a mi olvasatunkban:
"azok a levelek, amelyeket logikus körülmények között a felhasználó sosem jelentene spamnek".
Ezek azok a levelek, amikért mindent megteszünk, hogy bejusson a felhasználóink inboxába.
Ha kell - és ha máshogy nem biztosítható ez -, whitelist-re tudjuk tenni azokat az IP címeket, ahonnan csak és kizárólag adminisztratív jellegű levelek érkeznek.
A whitelist lehetőségét felajánlottuk mindenkinek, aki ilyen jellegű problémával megkeresett minket, ez a lehetőség nyitott mindenki számára, akinek az adminisztratív levelei egyébként nem feltétlenül jutnának be a Freemailen inboxba. Ilyen például a fenti tárhelyszolgáltató cég esete.
A whitelist lehetőségnek a következő feltételei vannak:
* az adminisztatív leveleknek külön IP címről kell érkezniük, amin csak és kizárólag adminisztratív levelek érkeznek,
* amint megtaláljuk az első nem adminisztratív levelet, ami whitelist-es IP-ről érkezik, töröljük a whitelistről az IP címet, és nem adunk újabb lehetőséget visszakerülni ide (innentől ugyanannyi esélye van bekerülni ezeknek a leveleknek, mint bármely más levélnek)
Nem adminisztratív levelek esetén a következő a teendő a jelenlegi folyamataink szerint:
1. Küldjetek nekünk e-mailt az info@freemail.hu címre (biztos, ami biztos, cc-be nyugodtan berakhattok engem is: tamas.peter@origo.hu) a következő információkkal:
* küldő IP cím(ek)
* log részlet, amelyben látszik:
** a pontos hibaüzenet
** a küldés pontos időpontja
** a címzett
2. Ekkor mi feljegyezzük a panaszhoz tartozó:
* időpontot
* cégnevet
* kapcsolattartót és e-mail címét
3. Ha a panaszban nincs a nyomozáshoz elegendő technikai információ (lásd 1.), bekérjük ezeket
4. Elegendő technikai információ birtokában Freemail szerver oldali logot kérünk az eldobott levélhez (ebben van benne ugyanis a spamszűrő által elhelyezett kódolt string, amely az eldobás okának ujjlenyomatait tartalmazza)
5. A Freemailes szerver oldali logot elküldjük elemzésre a Cloudmarknak
6. A Cloudmarktól megkapjuk az elemzés eredményét
7. Az elemzés ereményét feljegyezzük a panaszhoz
8. Az eredménytől függően a következők lehetségesek:
* Ha nagy problémát látunk (pl vírus küldés):
** ezt jelezzük a küldő felé,
** kérjük, hogy ezt oldja meg, majd vegye fel velünk ismét a kapcsolatot
* Ha a küldőnek ez az első problémája nálunk:
** reset-eljük a hozzá tartozó ujjlenyomato(ka)t,
** megírjuk neki, hogy a probléma okát, és hogy min változtasson ahhoz, hogy a jövőben ezt elkerülje,
** megírjuk neki, hogy reseteltük
* Ha a küldő már korábban is járt nálunk hasonló problémával:
** megírjuk neki, hogy a probléma okát, és hogy min változtasson ahhoz, hogy reseteljük
* Ha csak admisztratív leveleket érint a probléma (ilyen még nem volt):
** reseteljük a hozzá tartozó ujjlenyomatot,
** ha már korábban reseteltük, és ismét fennáll a tiltás, és nem látunk nála problémát: whitelistre tesszük az IP címét
* Ha adminisztratív levelei is érintettek a problémában (ilyen előfordul):
** ha az adminisztratív levelek külön IP címről érkeznek, és más úton nem tudjuk megoldani, hogy beérkezzenek ezek a levelek (lásd a tárhelyszolgáltatós történet): whitelistre tesszük ezt az IP címét
** ha az adminisztratív levelek ugyanazon IP-ről érkeznek, mint a reklámlevelei, megkérjük, hogy ezeket szedje szét, és ezután reseteljük
Ennek a folyamatnak az átfutási ideje normál esetben 1-2 nap.
Többen írtátok, hogy az info@freemail.hu-ról nem kaptatok választ.
Ezért elnézéseteket kérem, az utóbbi napokban ezek a levelek nem jutottak el hozzánk, ma reggel kezdtük el feldolgozni az időközben ide érkezett ~300 levelet.
=== miben látjuk a hosszú távú megoldást? ===
Amint lehet, szeretnénk elindítani a Freemail feedback loop szolgáltatását.
A feedback loop ugye azt jelenti, hogy:
* a felhasználói spam jelentések tényét elküldjük a levél küldőjének is
* a küldőnek innentől lehetősége lesz leiratkoztatnia az adatbázisából azokat a felhasználókat, akik spammernek értékelik őt,
* így a küldőnek lehetősége lesz folyamatosan magas reputációt fenntartani, és a levelei meg fognak érkezni az inboxba,
* amelyik küldő figyelmen kívül hagyja majd a feedback loop által küldött felhasználói spamjelentéseket, annak pontosan meg tudjuk majd mondani, hogy miért rossz a reputációja, és hogy tud ezen azonnal javítani.
Ez a szolgáltatásunk úgy gondoljuk megoldás lesz a jelenlegi problémára, miszerint a spamszűrőnk eldob leveleket azért, mert sok felhasználó spamnek ítéli ezeket a leveleket, de jelenleg nem tudunk érdemi segítséget nyújtani a küldőknek az adatbázisuk tisztításában.
Ez nyilván nem jelent megoldást a továbbra is beérkező sok spamre, de ha lesz feedback loop szolgáltatásunk, bátrabban erősíthetünk majd a szűrésünkön is.
Igyekszünk mielőbb publikálni a feedback loop szolgáltatásunkat, az indulásig a türelmeteket kérem (sajnos hónapokról beszélünk, nem hetekről).
Remélem segítettem, és tudok még segíteni nektek, ha folytatjuk a beszélgetést itt vagy e-mailben (még egyszer: tamas.peter@origo.hu).
Szívesen bármi konstruktív hozzászólást, ötletet, tanácsot a témában, keressetek bátran.
Előre elnézést kérek, ha nem rögtön válaszolok, de legkésőbb 1-2 nap alatt reagálok minden felé érkező levélre.