Очень нужен хороший crawler сайтов (подобие поискового паука) под Windows, который перебирал бы все ссылки на сайте и в удобном формате выдавал пользователю результат(структура сайта, сколько скриптов, какие параметры они принимают и т.д.). Буду очень благодарен за любую помощь.
Тоже интересует краулер. Подскажите в каком направлении копать. Функционала A1 Sitemap Generatora не хватает.