"Скачватель" сайтов на C#

Discussion in 'С/С++, C#, Rust, Swift, Go, Java, Perl, Ruby' started by Igorok, 22 May 2011.

  1. Igorok

    Igorok New Member

    Joined:
    12 Mar 2011
    Messages:
    39
    Likes Received:
    1
    Reputations:
    0
    Нужно написать скачиватель сайтов на c#. как лучше это сделать? нужно что бы сохранял структура + картинки
     
    #1 Igorok, 22 May 2011
  2. xophet

    xophet Member

    Joined:
    16 Apr 2011
    Messages:
    617
    Likes Received:
    49
    Reputations:
    5
    Думаю смысл такой:
    1) Скачиваешь страницу и сохраняешь ее.
    2) Парсишь страницу на наличие тега img, и из source сохраняешь картинку, предварительно добавив если нужно адресс сайта
    3) парсишь страницу на наличие <a href, и создаешь список ссылок, на которые нужно перейти
    4) переходишь по списку ссылок
    P.S. ну и где-то там проверяешь чтобы слишком далеко по списку ссылок не уйти
     
    #2 xophet, 22 May 2011
  3. seofilms

    seofilms Elder - Старейшина

    Joined:
    27 May 2009
    Messages:
    66
    Likes Received:
    46
    Reputations:
    14
    Невсегда теги img, может быть и в файле .css :p
     
    #3 seofilms, 22 May 2011
  4. Igorok

    Igorok New Member

    Joined:
    12 Mar 2011
    Messages:
    39
    Likes Received:
    1
    Reputations:
    0
    ну ещё наверное нужно скачивать каскадные таблицы)
     
    #4 Igorok, 22 May 2011
  5. phpdreamer

    phpdreamer Member

    Joined:
    26 Jul 2009
    Messages:
    522
    Likes Received:
    86
    Reputations:
    19
    а готовый не нашел? есть же уже такие проги
     
    #5 phpdreamer, 22 May 2011
  6. buxmanager

    buxmanager Elder - Старейшина

    Joined:
    1 Apr 2009
    Messages:
    610
    Likes Received:
    229
    Reputations:
    69
    например , телепорт)))
     
    #6 buxmanager, 22 May 2011
  7. kakeolala

    kakeolala Banned

    Joined:
    13 Jul 2010
    Messages:
    118
    Likes Received:
    2
    Reputations:
    0
    незнаю как щас телепорт работает - но раньше была хорошая программа!
     
    #7 kakeolala, 22 May 2011
  8. hkmakes

    hkmakes Member

    Joined:
    3 Jan 2010
    Messages:
    126
    Likes Received:
    11
    Reputations:
    10
    ЗАчем изобретать велосипед возьми httrack
     
    #8 hkmakes, 22 May 2011
  9. Igorok

    Igorok New Member

    Joined:
    12 Mar 2011
    Messages:
    39
    Likes Received:
    1
    Reputations:
    0
    конечно спасибо, но это мне как лабараторная работа) типо в учебных целях
     
    #9 Igorok, 23 May 2011
  10. seosimf

    seosimf Member

    Joined:
    3 Mar 2011
    Messages:
    271
    Likes Received:
    44
    Reputations:
    6
    Вот не плохой пример - A Simple Crawler Using C# Sockets, хотя и довольно старый, некоторые вещи, с учетом новых версий C# можно было бы сделать по другому.
     
    #10 seosimf, 23 May 2011
(You must log in or sign up to post here.)