Nyaralás

Július második felében, illetve augusztus elején nyaralni voltunk a feleségemmel, most nem tudok sok mindenről beszámolni leégtem a napon, aztán jött egy esős hét, lenyírtam a füvet...

Sajnos a vége felé kicsit bizonytalanná vált a robot működése. Ez is egy jó teszt arra, hogy vajon meddig működik mindenféle emberi beavatkozás nélkül. A bosszantó ebben hogy itthon kb 6-7 órányi nyomozás után sem derült ki hogy pontosan mi volt a baja, másnap simán lefutott. Csillagállás, vagy a gazda szeme hizlalja a jószágot...?

Ami a nyaralás óta elkészült:

  • sitemap.xml generálása, felesleges önkorlátozások nélkül. Most (újra) kb 10 ezer mélylink generálódik. Sajnos ez nem teljesen állandó, az aktuális találati listától függ. Ezek a mélylinkek kombinálva tartalmazzák a foglalkozást és a helyet, ugyanezeket használja az előző posztban leírt navigáció is - ahol lehet. Remélem javít a SEO-n.
  • a találatok melletti faviconokat még a robot megnézi hogy létezik-e, és ha nem, akkor egy saját kör alakú ikon jelenik meg a helyén. Eddig spekulatívan, ha nem talált a robot favicont, akkor beírta a http://domainnév/favicon.ico címet, de sokszor itt sincs favicon, a böngésző meg szenved, próbálja betölteni a lehetetlent. (ez még folyt köv)
  • A snippet generálásból kitöröltetek kicsit több spam jellegű szöveget.
  • Állásnevek felismerésén, különösen a "vezető" című foglalkozást próbáltam javítani
    szétbontottam a "hely" navigációt település / megye / ország szintekre
  • átköltöztettem a blogot a jobkereso.blog.hu-ról a kozvetlen-allasok.blog.hu-ra, éljen az export/import funkció a blog.hu-n!

aktuális probléma, hogy egyre gyakrabban áll le valamiért éjjel a kozigallas.gov.hu ahonnan állásokat töltök le, és jelentősen leesik a találatok száma, jó lenne json vagy xml fájl formájában lehúzni tőlük ami rám tartozik, nem ragaszkodok a html feldolgozáshoz

a másik hogy lusta vagyok feltölteni a városos oldalakat, vagy egy hónapja ott áll hogy nem nyúltam hozzá

( hrgy84 | 2015. 08. 08., szo – 14:51 )

A kozigallasra reagalva: mi lenne, ha failure eseten meghagynad az elozo talalatokat, meg ha azok kicsit outdatedek is? Egy allashirdetes tipikusan nem egy-ket napot szokott futni, inkabb szolgalj ki outdated jobokat mint ne legyen egyaltalan onnan semmi. Esetleg csak a failed site-okat napkozben ujra megfuttatni (hatha felebredt a rendszergarazda), es ha van talalat, befrissiteni?
--
Blog | @hron84
Üzemeltető macik

igen, igazad van
valami ilyet kéne csinálni

naponta csak egyszer futtatok robotot, tehát utólag már nem tudok variálni, azt lehetne, hogy ha kevesebb oldal van az indexben mint kéne, akkor megtartom a tegnapit

ez működik az egészre, tehát ha teljesen elcsesződik, és 0 oldal van az indexben, akkor nem cserél adatbázist, de egyelőre nem tudom csak a közigállásra vagy csak a céges állásokra ezt külön megcsinálni

egyébként engem érdekelne szerinted, vagy mások szerint a kozigallas eleve mennyire illeszkedik a profilba

ezek igen nagy jóindulattal közvetlen állások, és oka lehet duplikációnak is, most a nyitó oldalon kapásból van két karcagi kórházi állás, amelyek fenn vannak a közigálláson is, meg a városén is