nyári változások - Közvetlen állások (ex jobKereső)

  • domain név váltás a http://www.kozvetlen-allasok.hu-ra
  • átállás amazonra
  • extraktor az OTP állásaihoz
  • helyrehoztam a Lidl extraktort
  • felmozgattam a lap tetejére a megosztás linkeket
  • kisebb seo, kulcsszavak kiigazítása
  • hosszabb snippetek

Az amazonra átállás azt jelenti, hogy saját asztali gép helyett a crawler amazon ec2 instance-okról fut. Egy micro instance manageli a clustert, minden nap teljesen nulláról újraindul az adatbázis, a cluster slave-jei spot instance-ok, ezek a munka kezdetén jönnek létre, és a végeztével nyom nélkül eltűnnek, az adatokat pedig nem tárolom, csak a végeredmény indexet, ennyi pont elég a webes keresőnek, helyet is megspórolok vele.

A domain név váltás seo okból vált szükségessé, a korábbi domain név begyűjtött annyi automata büntetést a google-tól a linkháttere miatt, hogy teljesen elapadtak onnan a látogatók. Egyúttal kicsit szebb, vagy magyarabb a név (.hu, mindkét szó magyar, és egyúttal kulcsszó is)

A hosszabb snippet alapetően mellékhatás, a lidl állásajánlatainak olyan volt a szövegezése, hogy minden állásra ugyanaz a szöveg került volna a snippet-be, ami viszont duplikációnak számít, és crawler eldobálta. Lazítottam a snippetbe bevont mondatok körén, ami miatt a snippetek átlaga hosszabb lett.

Hozzászólások

Nekem az elozo nev jobban teccett, ez tul hosszu es vhogy mindig a kozig. allasok kifejezesre asszocialok;)

t

Meg szeretném kérni azokat, akiknek tetszik legalább az ötlet, vagy jobb esetben az implementáció is,
hogy az oldalon lévő megosztási lehetőségekkel adják tovább a linket másoknak is!

Ez óriási segítség lenne!