Az ASLR alapértelmezett lett NetBSD/amd64-en

NetBSD

Christos Zoulas napokban elkövetett commitje nyomán alapértelmezetten bekapcsolt lett NetBSD/amd64-en az ASLR: 

Module Name:    src
Committed By:   christos
Date:           Sun Apr 10 15:28:24 UTC 2016

Modified Files:
        src/sys/arch/amd64/conf: GENERIC

Log Message:
- Turn on ASLR by default
- Add PAX_MPROTECT_DEBUG flag

latom, nem fogtad fel a lenyeget. nem az a problema, hogy lehetetlen megtalalni bingen (bar kivancsi lennek, hogy hanyadik oldalon jon elo az eredeti keresesre), hanem az, hogy a legtrivialisabb kereses nem dobja ki az elso 100+ talalatban.

<paxteam> eleg szar a bing, ha az "ASLR" kulcsszora az egyetlen ertelmes leirast sokadik oldalon dobja ki
<fogyatekos> dehat a "pax docs"-ra keresve az elso talalat!!4!
<paxteam> de nem ez volt a kerdes
<fogyatekos> dehat a "pax docs"-ra keresve az elso talalat!!4!

>mit rontottam el
mindegy mit gondolunk, hiszen "dehat a "pax docs"-ra keresve az elso talalat!!4!"

:D

a wikipedias cikket anno a PaX doksibol probalta osszeollozni egy lelkes, de nem igazan szakerto amator, olyan is lett. pl. mindjart az elso mondatban a buffer overflow emlitese alapvetoen hibas, mert az ASLR (mint a PaX ugy altalaban is) exploit technikak ellen van, nem hibak ellen. szoval aki altalanosan akarja megerteni az ASLR-t, annak meg igy 2016-ban sem tudok jobbat mondani, mint a PaX doksi.

Az rendben, hogy a saját doksi a legjobb, de ha valaki azt kérdezi, hogy mi az ASLR, nem biztos, hogy első körben a saját doksi szintjén szeretné tudni. Erre van a wikipedia. Az meg, hogy nem jó, mit mondjak, szerkeszthető a wikipedia, te is javíthatsz rajta. Te a nick-ed alapján mélyebben benne vagy, de vannak ennél kevesebbet tudó emberek, ráadásul ők vannak többen. Nekik szerintem egy általánostól specifikusabb irányba mozgás jobb, nekem a saját doksija az általánostól már mélyebb irányban van. De ahogy mondani szokták, YMMV.

"Belépés díjtalan, kilépés bizonytalan."
"Vajon mit várok a sorstól, ha hányok az édestől, és izzadok a sóstól."

neked fogalmad sincs, hogy mirol beszelsz, csak beirsz ilyen igazsagnak tuno altalanossagokat ahelyett, hogy elolvasnad a szoban forgo doksikat. akkor meg talan azt is megertened, hogy a PaX doksija tartalmaz egy altalanos reszt (ebbol 'meritett' a wiki cikk is) es egy specifikusabb implementacios reszt. de sebaj, hozd csak a hupperek szokasos szintjet, mar megszoktam ;).

akkor tenyleg igazi hupper vagy, akinek a szovegertelmezesi keszsege meg btamiet is veri, ami azert nem piskota. ui. ha tenyleg elolvastad (es megertetted) volna a doksit, akkor nem handabandaztal volna itt altalanos/specifikus dolgokrol, mivel pont a PaX doksiban van az elso resz a legjobban kifejtve, ill. pont a masodik resz az, ami erosen hianyos a wikipedian, ami igy egyutt homlokegyenest ellenkezik a te tanacsoddal.

Még mindig: ha valami nem tetszik a Wikipedia cikkel, akkor javítsd ki.
A legtöbb ember azt sem tudja, mi az a PaX, de az ASLR-rel képbe szeretne kerülni, és legtöbbször Wikipediahoz, és annak hivatkozásaihoz fordul.
Mondd, honnan kéne tudnia például, hogy a PaX doksija a mérvadó a témában? Nem derül ki a doksiból önmagából.
Míg a Wikipediaból kiderülhet.

De játsszad csak a sértődöttet, semmi gond.

latom osztani nem csak az eszt tudod, hanem a munkat is. de hadd dontsem el en, hogy mikor vegzek dupla munkat, amikor egyszer is eleg. aztan az idoutazast leszamitva nem tudom, hogyan lettem volna kepes anno beleirni a doksiba, hogy ez (lesz) a mervado a temaban tekintve, hogy ez volt az elso iras. eleg szomoru, hogy ennyi evvel kesobb meg mindig nem csinalt senki sem jobbat. de legalabb megtudtuk toled, hogy a keresok feladata nem a relevans talalatok elobanyaszasa (ajanlom meg a google scholar-on megnezni az emlitett PaX doksit, csak hogy kepben legyel).

az offtopic a megadott link volt, mert pont a lenyeget nem tartalmazta. nekem tokmindegy, hogy bingnek vagy masnak hivjak, akkor is szova tettem volna, mert rossz tanacsot adtal (raadasul eleg dehonesztalo modon). az csak hab a tortan, hogy nyilvan letorott volna a kezed, ha a ceg legnagyobb konkurenset hasznaltad volna, meg akkor is, ha az jobb valaszt adna az adott esetben. na ezt hivjak ugy, hogy a ceged iranti lojalitas annyira elvakit, ami mar a szakmaisag karara megy. es innentol valoban offtopic ;).

mar megint ez a franya idoutazas. hint: a robots.txt-met akkor csinaltam, amikor meg a bing nem letezett, ergo idoutazas nelkul eleg nehez lett volna kitiltani (mint ahogy nincs is kitiltva direkt, az MS maganak okozza a problemat). amugy meg mint masok is ramutattak mar, a bing megtalalja a doksit magat, de persze ehhez nem write-only modban kene az ostobasagot szorni. de csak gratulalgass magadnak, hozod a hupon megszokott magas szakmai szintet ;).

" a bing megtalalja a doksit magat"
Igen, mivel linkelnek ra masok. Lekovetne a linket, de nem engeded, igy magahoz a doksihoz nem fer hozza, nem tudja, mi a tartalma, nem tud belenezni, indexelni.

" a robots.txt-met akkor csinaltam, amikor meg a bing nem letezett, ergo idoutazas nelkul eleg nehez lett volna kitiltani"
Az MS keresojet kitiltottad. A bingbot tiszteletben tartja a dontesedet.

De persze az MS keresoje a fos! Ertjuk.

Mondjuk ez nem a site hibája, hogy a Bingbot identitászavarban van. :)

3.2.1 The User-agent line

...

The name token a robot chooses for itself should be sent as part of the HTTP User-agent header, and must be well documented.

...

The robot must obey the first record in /robots.txt that contains a User-Agent line whose value contains the name token of the robot as a substring.

http://www.robotstxt.org/norobots-rfc.txt

Mindeközben:
https://developers.google.com/webmasters/control-crawl-index/docs/robot…

"user-agent: a means of identifying a specific crawler or set of crawlers."
Szó nincs itt HTTP User Agentről, a Googlebot sem így definiálja a dolgot.
Eszerint például a BingBot simán figyelembe veheti az msnbotos bejegyzést.

3. SHOULD This word, or the adjective "RECOMMENDED", mean that there
may exist valid reasons in particular circumstances to ignore a
particular item, but the full implications must be understood and
carefully weighed before choosing a different course.

Source (avagy RFC-ket citálni én is tudok :))

???

A BingBot az MSNBot jogutódja. Az egyik kereső leváltotta a másikat, de benne hagyták az msnbot megnevezést a kompatibilitás miatt, és hogy ne tudjanak az emberek a neten okoskodni. Kiderült, hogy okoskodni így is lehet, így eleve felesleges próbálkozás volt, de ez miért baj?

Valaki kitiltja a Microsoft keresőjét. A Microsoft keresője nevet vált. Mi lenne itt a helyes eljárás?

A user-agent tokennek semmi köze a HTTP User-Agent headerhez ám, ezt ne feledd.

A user-agent token a robots.txt-ben a crawlernek szól. Az, hogy egy crawler milyen user-agent tokenre triggerel, azt a crawler dokumentációja tartalmazza.
Nem alapozhatsz a HTTP User-Agent header értékre, mivel eleve a crawler dönti el, hogy mit vesz figyelembe, és nem te. Az egész robots.txt-t figyelmen kívül hagyhatja.

Ha te ki akarsz zárni egy crawlert, akkor egyetlen esélyed van: felveszed a kapcsolatot a crawler készítőjével, megnézed a dokumentációt, ami le fogja írni, hogy az adott crawler mely user-agent token értékeket veszi figyelembe.

Az tök mindegy, hogy a te webszerveredhez milyen HTTP User-Agent értékkel érkezik. Úgyis az számít, hogy ő mit vesz figyelembe, miután letöltötte és parzolta a robots.txt-t.

Tegyük fel, hogy egy crawler olyan módon szkenneli a weboldalam ami nem tetszik, az access.log-ba valószínűleg nincs benne, hogy ki hozta létre, mit csinálok bedobom az user-agentjét a googleba, hogy hátha lesz egy hit a gyártóhoz akitől aztán megkérdezhetem, milyen user-agenteket blokkoljak a robots.txt-be? (elég életszerűtlen :))

Ha HTTP User-Agentet akarsz blokkolni, akkor a legjobb megoldás, hogy minden olyan kérésre, ami egy adott HTTP User-Agent értékkel rendelkezik, 404-et adsz vissza.
Ez a legbiztosabb megoldás. Mondom, a robots.txt a crawler számára szól, te a crawler által beküldött kérés alapján (a crawler dokumentációja nélkül) semmilyen információt nem kapsz abból, hogy a crawler hogyan fogja értelmezni a robots.txt-t. Meg a meta robots tageket. Meg az X-Robots-Tag headert.
Mert persze ugyanarra a viselkedésre van 3 "szabvány", amit mindenki úgy implementál, ahogy akar.
Életszerű vagy nem, ez van. Welcome to the wonderful world of the Web.

Tehát nem láttad a táblázat második sorát. "still handles..."

Illetve:
http://blogs.bing.com/webmaster/2012/05/03/to-crawl-or-not-to-crawl-tha…
"If you have a specific set of directives for the msnbot user agent (but not for the bingbot user agent), BingBot will honor these. In particular, if you have old directives blocking MSNBot, you are also blocking BingBot altogether as a side effect. "
Azaz ha egyszer már kitiltittad a MS keresőjét, nem fog visszajönni, hacsak külön nem engeded meg neki.

Abban biztos vagyok, hogy ha nem matchelne a bingbot az msnbotra, akkor sokaknál az lenne a baj. Mert ugyebár akkor könnyen kijátszható minden robots.txt, hiszen user agentet vált egy cralwer és kész.

Míg így az MS legalább tiszteletben tartja, ha már egyszer kitiltották az ő keresőjét, akkor user agenttől függetlenül kitiltották.
Másrészt a már meglévő, nem karbantartott oldalakat is valahogy figyelembe kell vennie / kihagynia.

A robots.txt tiszteletben tartása mindigis a crawlertől függött. Nem kell a kijátszásához semmilyen user-agent váltás, egyszerűen ignorálhatja a benne foglaltakat (ahogy akár még a wget is figyelmen kívül hagyja, ha 

-e robots=off

paraméterrel hívod meg).

Amiért ostobaságnak tartom ezt a fajta megoldást az az, hogy így nem szabályozható, ha valaki a régi msnbot crawlert tiltani akarja, az új bingbotot viszont engedni. Emiatt az összemosás miatt erre nincs lehetőség, mert az msnbot tiltásával akkor a bingbot is tiltva lesz...

" hogy így nem szabályozható, ha valaki a régi msnbot crawlert tiltani akarja, az új bingbotot viszont engedni. "

DEhogynem szabályozható. Ha adsz meg bingbot specifikus részt, akkor azt figyelembe veszi, és az msnbotot figyelmen kívül hagyja. De ha nincs bingbot specifikus rész, és csak msnbot specifikus rész, akkor azt figyelembe veszi.

De ezt leírták:
"If you have a specific set of directives for the bingbot user agent, BingBot will ignore all the other directives in the robots.txt file. "

Tökéletesen igazad van, de akkor fogalom nélkül ne is fikázzunk. Ja, talán szerencsésebb lenne, ha nem hallgatna a Bing crawler az msnbot-ra, talán nem. Van sapka, nincs sapka tipikus esete. (De ha már témánál vagyunk, miért van egyáltalán kitiltva az msnbot? Én sem vagyok különösebben járatos SEO témában.)

A baj azzal van, hogy megy a személyeskedés meg az okoskodás, hogy szar a Bing, mindenki téved, bezzeg én nem tehetek arról, hogy mi van a saját oldalam robotstxt-jében. Nekem csak ez nem tetszik, az elvi kérdésekben akár igazatok is lehet.

azt megertetted, hogy idoparadoxon nelkul lehetetlen lett volna kitiltanom a bing-et, mielott egyaltalan letezett? de mindez persze nem tartott vissza attol, hogy fogalom nelkul fikazz. ami a robots.txt-em tartalmat illeti, nos ahhoz leginkabb semmi kozod, de azert elarulom, hogy eleg szarnak kell lennie egy indexelonek, hogy odakeruljon (ami azert sejtheto a meretebol, bar fikazni nyilvan egyszerubb, mint gondolkodni vagy megkerdezni).

nincs olyan, hogy 'a MS kereso'. olyanok vannak/voltak, hogy MS keresok. amibol en egy regi verziot kitiltottam es innentol nem is erdekelt tovabb a dolog. aztan jott egy ujabb kereso (vagy akar tobb is, nem kovettem), ami a MS es nem az en dontesem folytan tokon szurta magat. na erre varrjal gombot.

> Majd fikázod, hogy mégsem találta meg az oldaladat.

ezt vissza is tudod idezni tolem vagy csak behazudod, mert igy jobban hangzik a kamuzasod?

Aki tesz rá, hogy az n éve beállított robots.txt-jében mi van, de a kurrens keresőket szidja, az kicsit téved.

Ha baja van azzal, hogy egy kereső nem találja meg az oldalát, akkor talán elkezdhetne tenni érte, hogy megtalálja.
Ehelyett meg játssza a sértődöttet, hogy ő nem lehet hülye, csak a Bing lehet szar.

És igen, a web egy állandóan változó platform, alkalmazkodni kell hozzá.

Miért is? Valaki itt szidja a Binget, miközben ő tehet róla, hogy az nem találja meg a weboldalát. Én ab ovo nem szidtam a Binget a témában, pedig tényleg eléggé rossz találatai vannak, főleg magyar nyelven. De ez is mutatja, hogy ez nem biztos, hogy csak a Bing hibája, persze divat szidni az MS-t.

Fikázás helyett:
Véletlenszerűsíti, mit hova pakoljanak a memóriában, hogy megnehezítse a puffertúlcsordulást kihasználó támadásokat. Ha jól rémlik. Volt vita arról a BSD-seknél, hogy ez megoldás-e vagy csak egy felesleges sebtapasz és inkább más irányból kellene megközelíteni a dolgokat. Windows és Linux vonalon már régóta használatban van ez a technika