Web crawler

Sziasztok!

Adott egy domain sok al-tartománnyal. Szeretném a honlapokon található hivatkozásokat (más oldalakra, dokumentumokra) gráfként ábrázolni (graphviz).

Olyan programot keresek, ami az adott tartományon végigböngészi a hivatkozásokat, a hivatkozásokat valamilyen feldolgozható formában elmenti. Az oldalakat és média tartalmakat nem akarom menteni.

Milyen programot ajánlanátok erre a feladatra?

Köszönöm, Cözi