Переборщик +вывод в файл

Discussion in 'PHP' started by Klaus Doring, 25 Sep 2007.

  1. Klaus Doring

    Klaus Doring Elder - Старейшина

    Joined:
    23 Jul 2007
    Messages:
    48
    Likes Received:
    16
    Reputations:
    0
    Есть ссылка mysyte.com/1.html
    Нужно вывести содержимое страниц, для каждой отдельный файл в которых есть что нибудь, то есть не выводится слово error
    есть 999999 файлов. Можно как то это сделать? Может есть какой нибудь уже готовый скрипт на Перле например?
     
  2. demonoid

    demonoid Banned

    Joined:
    12 Jan 2007
    Messages:
    101
    Likes Received:
    111
    Reputations:
    27
    надеюсь я правильно понял

    Code:
    #!/usr/bin/perl -w
    
    use LWP::Simple;
    use strict;
    use warnings;
     
    use constant URL      => '/memberlist.php?s=&do=getall&page={PAGES}&sort=reputation&order=DESC&pp=50';
    use constant MAX_PAGE => '4';  
    use constant FORMAT   => 'html';
    
    #   Опции:
    #  ~~~~~~
    #  Отсортировать результат поиска по: Репутация | по убываиню
    #  Число пользователей на страницу: 50 
    
    my $content = undef;
    my $resp = undef;
    my $url = URL;
    
    for( 0..MAX_PAGE ) 
    {
       $url  =~ s/{PAGES}/$_/e;
       print "[$_] GET $url \n";
       $content = get $url || exit printf "ERROR : get URL : %s \n",$url;
       open $resp, ">", "$_.".FORMAT;  
       print $resp $content;
       close( $resp );
       $url = URL;
    }
     
  3. Klaus Doring

    Klaus Doring Elder - Старейшина

    Joined:
    23 Jul 2007
    Messages:
    48
    Likes Received:
    16
    Reputations:
    0
    Что то не работает. Вроде задал параметр, который увеличиваться должен. Дело в том что там не html! И еще вывод в файл должен быть содержимого страниц.
     
  4. demonoid

    demonoid Banned

    Joined:
    12 Jan 2007
    Messages:
    101
    Likes Received:
    111
    Reputations:
    27
    Напиши на конкретном примере, что не работает

    Code:
    use constant FORMAT   => 'html'; #Это формат, в который будут сохраняться страницы
    Так и есть :\\
     
  5. Spyder

    Spyder Elder - Старейшина

    Joined:
    9 Oct 2006
    Messages:
    1,388
    Likes Received:
    1,209
    Reputations:
    475
    Klaus Doring, хз, мб я глючу, но вот твой первый пост меня убил. Очень похоже на бессмысленный набор слов
    Напиши нормально что тебе надо
     
  6. Klaus Doring

    Klaus Doring Elder - Старейшина

    Joined:
    23 Jul 2007
    Messages:
    48
    Likes Received:
    16
    Reputations:
    0
    Ммм... как сделать. Отправляешь запрос, получаешь содержимое страницы, анализируешь его, сохраняешь если надо. Повторяешь 99999 раз.
    Или на другом языке... :)
    Цель:
    Можно задавать адрес программе
    Можно задавать увеличиваемый параметр в адресе
    Можно фильтровать по слову, чтобы при Error404 не сохранялась страничка на диск
    Можно сохранить все страницы от 1-99999.html