Как заставить php скрипт бродить по ссылкам?

Discussion in 'PHP' started by brasco2k, 5 Jun 2008.

  1. brasco2k

    brasco2k Elder - Старейшина

    Joined:
    23 Nov 2007
    Messages:
    258
    Likes Received:
    91
    Reputations:
    0
    Как заставить php скрипт бродить по ссылкам?
    Т.е сначала указываешь глубину ссылок потом запускаешь скрипт и он чтото делает.
    В гугле не нашел(
    Помогите!
    Заранее спасибо!
     
    #1 brasco2k, 5 Jun 2008
  2. mr.The

    mr.The Elder - Старейшина

    Joined:
    30 Apr 2007
    Messages:
    1,080
    Likes Received:
    456
    Reputations:
    38
    элементарно.
    1)получаеш страницу.
    2)регуляркой парсиш все ссылки.
    3)получаеш страницу по рандомной ссылке.
    4) п2. до посинения.
     
    #2 mr.The, 5 Jun 2008
    1 person likes this.
  3. brasco2k

    brasco2k Elder - Старейшина

    Joined:
    23 Nov 2007
    Messages:
    258
    Likes Received:
    91
    Reputations:
    0

    Ээ я так и делаю но только глубины ссылки нет.
    Т.е первую страницу он скачивает-а что за ней уже нет(
     
    #3 brasco2k, 5 Jun 2008
    1 person likes this.
  4. banned

    banned Banned

    Joined:
    20 Nov 2006
    Messages:
    3,324
    Likes Received:
    1,194
    Reputations:
    252
    Дык потом делаешь пункт 2 по ссылкам, +1 к глубине...
     
    #4 banned, 5 Jun 2008
  5. groundhog

    groundhog Elder - Старейшина

    Joined:
    12 May 2007
    Messages:
    1,159
    Likes Received:
    425
    Reputations:
    180
    Классический рекурсивный обход...
     
    #5 groundhog, 5 Jun 2008
  6. mr.The

    mr.The Elder - Старейшина

    Joined:
    30 Apr 2007
    Messages:
    1,080
    Likes Received:
    456
    Reputations:
    38
    возможно непавильно парсиш. и получаеш неправильную ссылку
     
    #6 mr.The, 5 Jun 2008
  7. oRb

    oRb Elder - Старейшина

    Joined:
    9 May 2008
    Messages:
    294
    Likes Received:
    581
    Reputations:
    256
    Вот уже выкладывал другому.
    Рекурсивный обход по сайту (!код бредовый писал года 2 назад!)
    http://myorb.site88.net/crawler.zip
     
    #7 oRb, 5 Jun 2008
    1 person likes this.
  8. Dronga

    Dronga ВАША реклама ТУТ!!

    Joined:
    1 Jul 2005
    Messages:
    575
    Likes Received:
    239
    Reputations:
    249
    Проверь свой php.ini, там есть ряд ограничений по умолчанию, может поэтому и останавливается.
     
    #8 Dronga, 6 Jun 2008
    1 person likes this.
(You must log in or sign up to post here.)