Есть прога, каторая ходит по сайтам. Нужно спарсить все ссылки к каторым обращается программа. Юзаю для этого http analyzer , но там много лишнего говна, фильтры не помогают , да и глючит начинает когда ссылок слишком много. как можно еще перехватить адреса к каторым обращается программа??
прога ходит по страничкам. и их очень много. поставил фильтр: type equals = text/html в Снифере такой результат: ya.ru ya.ru/1/ ya.ru/1/1/1.html lol.ru lol.ru/2/2/2/2 lol.ru/1/2/3 нужны только ya.ru и lol.ru Можно как-нибдуь замутить фильтр что бы сохранял только сам домен без катологов (что бы не было повторок)? Ща снифер перхватывает все странички подряд, их очень много , поcле часа работы снифер не выдерживает и закрывается какие еще норм сниферы есть с гибкой настройкой фильтров? может есть что-нибудь типа прокси каторая ведет логи ? подскажите плиз