Megszűnik az Opsgears DNSBL és URIBL

Hirdetés

Kedves HUPtársak,

az elmúlt években jó néhányan, tudtommal közmegelégedéssel, használtátok az általam üzemeltetett, kifejezetten magyar spamekre specializálódott Opsgears DNSBL-t és URIBL-t. Sajnos elérkezett az a szomorú pillanat, hogy azt kell mondjam: rövidesen megszűnik.

Június 1-től az AWS accountból törlésre kerül a domainbl.opsgears.com és dnsbl.opsgears.com zóna, amivel minden kérésre NXDOMAIN válasz fog érkezni, ezzel biztosítva hogy az esetlegesen még bent maradt configok ne okozzanak galibát. Ettől függetlenül arra kérlek benneteket, hogy ha eddig használtátok a két lista valamelyikét, töröljétek a beállításaitokból hogy ne rójunk fölösleges terhelést a mindenkori névszerverre.

Ha használod a listát, bizonyára felmerült benned hogy miért is zárom be a jelek szerint jól működő listát? Az ok vajmi egyszerű: mivel munkát váltottam, nincs időm a saját levelezőszerveremet ápolgatni, így hostolt szolgáltatásra cserélem. Ez részint feleslegessé, részint pedig lehetetlenné teszi a lista felelős és szakszerű karbantartását. Mivel soha nem született hozzá menedzsment szoftver és a listázást minden alkalommal kézzel én végeztem el, a megoldás nem skálázódik túl jól. Ráadásul az elmúlt időben érkezett jó pár kérés egy-egy listázás megszüntetésére, részint spammerektől, részint viszont legitim IP tulajoktól akik balszerencséjükre spammerfészket választottak hosting szolgáltatónak. Ezek sajnos, a megfelelő szoftver hiányában, kézi zónamatatás tárgyát képezték. (Spammerfészek: ahol több /24-es blockon keresztül húzódnak a randomnév.spammerdomain.valami reverse DNS-ek.)

Tekintettel arra, hogy mindkét BL tulajdonképpen az én saját privát listám volt és sosem szántam nyilvános használatra, soha nem is született egy nyilvános, közösségi működtetéshez szükséges szabálykészlet. Ezért, és a hiányzó dokumentáció miatt nehéz lenne ezt a projektet tovább vinni. Nagyon örülnék, ha egy vagy több HUPer összefogna és indítana hasonló projektet (amihez sok szeretettel felajánlom a hunbl.com domaint), de ez az iteráció sajnos jelen formájában halott.

További spammentes levelezést kívánva maradok tisztelettel,

Jani

( meridian v | 2017. 04. 24., h – 19:45 )

Köszönjük, az eddigi fáradozásokat, mi is szívesen vennénk ha létezne egy ilyen legitim lista, sőt, ha többen beszállunk én beleadnék egy contabo-s VPS M SSD-be ami szerintem elvinne egy ilyen gépet.

Alapvetoen nem gep kerdes, az Amazon Route53 tok szepen elviszi es szinte semmibe nem kerul. Ami itt a problema az hasznaloktol beerkezo jelentesek feldolgozasa. Pontosabban a mi minosul spamnek (jogszabalyilag vagy erzesre) illetve a listing/delisting automatizalasa. (Az nem megoldas ami eddig volt hogy a laptopomon van egy AWS access key es azzal lehet csesztetni a zonafilet.

Ezen felul erdemes lenne lefejleszteni a kovetkezoket:

- listazas kategoriakra bontva:
- - info@-ra kuldott spamekert
- - cegnek kuldott, jogilag legalis, de tovabbra keretlenul kuldott reklamlevelekert
- - nem mukodo leiratkozasi rendszerrel rendelkezoket listazni
- - olyan cegeket akik szandekosan nehezze teszik a leiratkozast (HVG, ahol meg veletlenul sem tudsz 1-2 gombnyomassal mindenrol leiratkozni)
- - hianyzo lablec adatokert, pl. nem feltuntetett adatvedelmi nyilvantartasi szam (a megfelelo ajanlas kidolgozasa mellett)
- Automatikus EML feldolgozas a megbizhato reporting partnerektol, illetve spamtrap e-mail cimekrol.
- Ismert spammer szolgaltatok / cimtartomanyok figyelese es automata listazasa 1-10 napos domain eletkorba tartozo reverse DNS-ekre
- Nyomkovetes hogy mi miert lett listazva, hogy az esetleges delisting keresnel utana lehessen nezni hogy mennyire volt bocsanatos az adott illeto / szolgaltato bune.
- Issue tracking rendszer a mindenfele keresek / bejelentesek kezelesere
- Zart DNS hozzaferes, hogy lehessen kovetni ki hasznalja a listat, illetve ertesiteni a szervertulajt ha valami gond van.

Ezek sajnos mind-mind idot igenyelnek, es nem volt ra kapacitasom. Ha lett volna, vagy nem bontanam el a sajat infrastrukturamat, lehet hogy maskepp alakult volna.

--
Pásztor János
Sole Proprietor @ Opsbears | Refactor Zone

( sj | 2017. 04. 24., h – 20:19 )

valamit tennunk kell/fogunk, kulonben a spammerbunozok elkanaszodnak...

A domaint + egy par AWS Route53 zonat szivesen adok hozza megfelelo API kulcsokkal, de a menedzsmentjet nektek kell megoldani. Meg annyival tudok segiteni, hogy Javaban irok egy egyszerusitett libraryt / CLI toolt a kezelesehez. A mostani zonadumpot neked szivesen odaadom, de az atmazsolazasra szorul sajnos.

--
Pásztor János
Sole Proprietor @ Opsbears | Refactor Zone

Latod ez a baj, penz, fegyver, paripa van, csak ido nincs. Szamitasom szerint egy jo 20-50 ora fejlesztest kellene a projektbe beletolni ahhoz hogy ertelmesen mukodjon, az pedig meg "egyetemista" dijszabason is annyi hogy nehezen lehetne csak osszeszedni donationokbol ha ki akarnank fizetni valakinek hogy megcsinalja. (Arrol nem beszelve hogy nem volna baj ha tisztessegesen lenne megcsinalva.)

--
Pásztor János
Sole Proprietor @ Opsbears | Refactor Zone

( Mcsiv v | 2017. 04. 24., h – 23:12 )

Szia!

Már pár hónapja készítés, tervezés, programozás alatt van egy automatikus (2k domain alapján) rbl dns rendszer. A rendszer statisztikai alapon nézi (milyen domain milyen kapcsolatban van), így örömmel venném ha megosztanád velem az általad kezelt zónát (ha a rekordok nagy része már benne lenne az enyémben, az is egy jó információ forrás nekem).
Terveim szerint a listát nyílvánossá fogom tenni, illetve a daemon-t is ami a statisztikai adatokat adja a rendszer alá (az adatok nagy része anoním módon tud működni).

// Happy debugging, suckers
#define true (rand() > 10)

Az altalam uzemeltetett DNSBL kezi atnezessel mukodott, cserebe viszont akit listaztunk azt "eletre" listaztuk, soha tobbet nem kuldott levelet. Megosztom a zonafilet ha ramirsz privatban, de csak akkor ha megigered hogy atnezed mielott beimportalod, mert sajnos takaritasra szorul. Ezen felul meg tudom osztani a felig mukodo Spamassassin szabalykeszletemet is amit egyszer elkezdtem.

--
Pásztor János
Sole Proprietor @ Opsbears | Refactor Zone

( agostonl | 2017. 04. 25., k – 04:00 )

Köszönöm, az eddigieket, nagyon nagy segítség volt.

"Az atombombát és a C vitamint is a Magyarok találták fel...
Mindkettőből elég, napi 500 mg. - by Bödőcs Tibor"

Mi a baj a kutyán nevével???
K4HVD-Q9TJ9-6CRX9-C9G68-RQ2D3

( arpi_esp v | 2017. 04. 26., sze – 19:09 )

igy 2017-ben van meg valami ertelme IP cim alapjan szurni a spammeket? en evek ota azt a tendenciat latom, hogy a spammerek vagy feltort valid accokrol (phishinggel ellopott jelszavakkal) vagy pedig ingyen/apropenzert berelt vps-ekrol toljak, kb naponta vagy meg surubben valtozo ip cimekrol...

A'rpi

Ezek szerint nem hasznaltad a DNSBL-t. :) Elso sorban domain alapjan szurtunk, nem IP alapjan. Magyarorszagi viszonylatban a jelek szerint azert egy domain koltsege nem elhanyagolhato tenyezo ha gyorsan deritjuk fel, mert latszott a spameken hogy megprobaljak kikerulni a felderitest.

--
Pásztor János
Sole Proprietor @ Opsbears | Refactor Zone

( uid_395 v | 2017. 04. 30., v – 15:44 )

Köszönjük az eddigieket. btw, amióta kivettem a listát a konfigból, azóta kb. elkezdtek beömleni a HUN* spamek minden féle extra helyről.

Ami érdekes volt, hogy bizony olyan is átszaladt a rendszeren, aminek elvileg kettő listán is fent kellett volna akadni.

Mindenesetre Június 1-ig visszapakoltam.

Valami megoldás jó lenne amúgy rá, hogy tudjon tovább működni, akár a jelenlegi aktuális DB-vel (állapottal).

( Proci85 v | 2017. 05. 02., k – 13:53 )

Szia!
Először is nagy köszönet az eddigiekért.
Valami kell helyette, mert hiánytpotló volt. Nagyon sok szemetet felfogtál nekünk.
Jól érzékelem, hogy már valami történt? Eddig megfogtad a *.nyuszikaaaaa.hu smtpről jövő leveleket, de most a log szerint nem akadt fent és nyomja a hülyeségét ezerrel :)

Én és szerintem többen szívesen átvennénk, de annyival tudnál segíteni, hogy hogy zajlott pontosan a menedzselése ennek? Hogyan és honnan gyűjtötted a lehetséges IP-ket, domaineket?

Illetve a közösséget kérdezem: ki milyen önszerveződő rendszert tudna kiagyalni erre? Mi a külföldi minta?
Olyanban gondolkozok, hogy lenne egy form, mely akár nyitott, akár egy szűk mag képviselteti ott magát (pl. aki fent volt nálad a listán) és oda lehet beküldeni bannolandó IP-ket, domaineket. Kell x db "ajánlás", amire a rendszer bannolná.
1 ember nem hiszem, hogy felvállalja, hisz ahogy te sem, úgy más sem bírná, de ha már megosztlik a teher, szerintem belefér mindenkinek, hogy a saját szerverén _egyébként_is_ kigyűjtött_ sűrűn spammelő jószákogat bedobja a közösbe.
Kis logikával megoldható, hogy aki aktívabb (több ajánlása van) és régebb óta bedolgozó ebbe a rendszerbe, nagyobb súlyban szerepeljen a nagy kalapban. Ha ő bedob valamit, ne kellnen még 10 máságiknak is, elég 2-3-nak és aktiválódik. Így ha van néhány _megbízható_ csapattag, akkor gyorsan tudjanak hatást elérni.

Ötletek?

Jól érzékelem, hogy már valami történt?

Igen, allast valtottam es picit embertelenul sok volt a munka. Eppen ezert nem hogy a spamek feldolgozasara nem ertem ra, hanem a sajat szerverem karbantartasara sem. Tudom, hogy higul a szakma es mostanaban van maganelete is az embereknek, de a sajat mailszerver uzemeltetes egy olyan luxus amit nem akarok megengedni magamnak. Inkabb elmegyek hegyet maszni. :)

Én és szerintem többen szívesen átvennénk, de annyival tudnál segíteni, hogy hogy zajlott pontosan a menedzselése ennek? Hogyan és honnan gyűjtötted a lehetséges IP-ket, domaineket?

Nagyon egyszeru: volt egy mailfiokom amit szerettek nagyon a spammerek, es az abba erkezo szemetet megneztem kezzel. Pontosabban a kovetkezoket neztem:

- Ki a From es Envelope-From domain tulajdonosa?
- - Ha anonim, azonnal blacklist a domain
- - Ha nincs rajta ertelmes weboldal, es a domain Minta Bela neven van, blacklist a domain
- Ki a kuldo IP cim tulajdonosa?
- - Ha a reverse DNS-ekbol latszik hogy spammer szolgaltato, megy az egesz tartomany az IP listaba.
- - Minden esetben vegig neztem a tartomanyt hasonlo nevu, par napos domainek alapjan es blacklisteltem oket. (A spammerek altalaban nem rendelkeznek tul sok fantaziaval domainek teren.)

Illetve a közösséget kérdezem: ki milyen önszerveződő rendszert tudna kiagyalni erre? Mi a külföldi minta?

Sehogy. Nincs kozossegi aktivitas, a szemeteket egyenkent kell atnezni. A tipikus spammerek eleg egyszeruek, mert a level aljan nincs cegnev, nincs normalis leiratkozo link, ra kell nezni a levelre es maris mehet a kukaba. Sztem a szavazati rendszer azert nem mukodik mert a) nem lesz eleg aktiv ember / nem kap eleg ember abbol a fajta szemetbol b) eleg konnyen manipulalhato a rendszer mert senkirol nem tudjuk hogy valojaban kicsoda.

Ennek szerintem emberi erovel kell mennie. Bejon az EML mint riport, vegrehajtunk par alapveto, automatikusan elvegezheto elemzest rajta (pl. mikori a domain, ki a tulajdonosa, van-e a levelben lablec, ismert spammer szolgaltatonal van-e), es ha megut egy bizonyos pontszamot megy a listara. Ha nem, akkor humanoidnak kell atneznie es eldontenie hogy milyen bunti legyen. Az ilyen joggal megaldott usereknek igen konzervativnak kell lennie, mert sajnos sokszor elofordul hogy a user feliratkozott olyasmire amire nem emlekszik, vagy pedig a szolgaltato nezett be valamit.

--
Pásztor János
Sole Proprietor @ Opsbears | Refactor Zone

a *.nyuszikaaaaa.hu smtpről jövő leveleket

jaaaj, az a fucktardo :-)

Illetve a közösséget kérdezem: ki milyen önszerveződő rendszert tudna kiagyalni erre? Mi a külföldi minta?

vegyunk par embert, akik megbiznak egymasban, es lehetoleg hasonlo a vermersekletuk a listara felkerulest illetoen. Adjunk nekik valamilyen verziokezelt dolgot, ahova 1 bejegyzes = 1 commit alapon mennek be a dolgok. A lista(k) hasznaloi meg valami faek egyszerusegu cuccal tudjak leszedni a sajat mta-juknak megfelelo formaban a tartalmat.

Kell egy vilagosan kommunikalt policy, hogy meddig maradnak fenn a spammerek cimei, domainnevei.

A code review (vagy ahogy te nevezed, 'ajanlas') otlete jo, de csak ugy mukodik, ha megfelelo aktivitast tudnak a tagok felmutatni. De a megfelelo reakcioidohoz az is szukseges, hogy legalabb par ember sajat hataskorben is fel tudjon venni / le tudjon szedni egy spammert.

Kell meg egy levlista is, amin meg tudjuk beszelni a felmerulo problemas eseteket (garantaltan lesznek, pl. kib*szhato-e a teljes 163.com domain?).

Ahogy a spamhaus is tobb listat tart karban, imho nekunk is kellene egy konzervativabb, ill. egy hard core lista. Elobbire nehezebben lehet felkerulni, a masik batrabban listazza a spammer bunozoket. A jo munkas adminok meg eldontik, melyiket hasznaljak. Bar ez 2x akkora melo is lehet.

Az eml file-okat fel kell dolgozni valahogyan. A janoszen irta dolgok mellett kell egy history is, amibol pl. az is latszik, hogy xy mar a multban is 5x fogadkozott, hogy nem spammel tobbet, mi levettuk szintem 5x, es megis itt a legujabb spam tole.

update: erdemes csinalni uribl listat is, meg valami ilyesmi file-t is:

/\d{1,3}(\-|\.|x)\d{1,3}(\-|\.|x)\d{1,3}(\-|\.|x)\d{1,3}(\-|\.|x)/ REJECT spam from dynamic ip

/mail.globalfaktor.hu/ REJECT anyadat spammeld kocsog
/akcio/ REJECT anyadat spammeld kocsog
/netkey.hu/ REJECT anyadat spammeld kocsog
...

Azert ezt lassuk be nem keves melo. Plane ha ugy akarja az ember megcsinalni hogy ne kelljen konzolmatatas hozza, hanem par kattintassal feldolgozhato legyen a "szemetqueue".

Miutan itt egy ismeros nagyon kesergett nekem ezen topic miatt, egy pillanatig elgondolkoztam azon hogy lovok egy Kickstartert vagy Gofundme-t a megfelelo szoftver lefejlesztesere, aztan jobb belatasra tertem. Sajnos tok eselytelen hogy a kovetkezo fel evben ennyi idot leakasszak, mindegy mennyire sikeres a Kickstarter, es ezzel kapcsolatban alapbol lennenek ketsegeim. Pedig egy opensource RBL management eszkoz nem lenne haszontalan eszkoz. Ha valaki akar fejleszteni, szivesen "tarsulok" par modullal ha egy altalam ertett nyelven van.

--
Pásztor János
Sole Proprietor @ Opsbears | Refactor Zone

Hm, ez egy tök jól összefoglalt kis írás volt. Már csak az a kérdés, mennyire lehet ezt ilyen "community" formában megoldani.

Mert azért nagy szükség lenne egy specifikusan magyar spammerekre szakosodott *BL listára. Sokszor ugyanis, nem kerülnek fel a nagyobb *BL listaszerverekbe ezek.

Csak ez tényleg vagy community módban megy, vagy profit módban. Mind a két verzióhoz kell egy stabil "team" aki foglalkozik vele és bizonyos szabályok szerint végzi a dolgát, ahogy sj is leírta fentebb. Az egy tök jó scenario lehetne erre.

Az opsgears googlegroup listre elküldte proci ezt a témát, ott esetleg lehetne róla konkrétabban is beszélni. Bár nem tudom sj fenn volt-e azon a listán :)

Vagy majd proci összegzi oda a témát.

( janoszen v | 2017. 05. 04., cs – 10:39 )

Update: az imént kaptam egy igen érdekes és izgalmas megkeresést, ami azt eredményezheti hogy lesz erőforrás a projekt lefejlesztésére. Részletek hamarosan.

--
Pásztor János
Sole Proprietor @ Opsbears | Refactor Zone

( Proci85 v | 2018. 12. 17., h – 07:46 )

Nem tudom mi változott, de tegnap este 20 óra óta minden levélre: "blocked using domainbl.opsgears.com", így a postfix minden levelet visszapattint.
Szóval akinek bennemaradt a configban, az gyorsan vegye ki.