кто напишет парсер этой темы: /thread83865.html

Discussion in 'Болталка' started by it's my, 17 Aug 2009.

  1. it's my

    it's my Banned

    Joined:
    29 Sep 2007
    Messages:
    335
    Likes Received:
    347
    Reputations:
    36
    кто напишет парсер этой темы: /thread83865.html

    соответственно нужно что бы вырезал только 32-х символьные слова т.е. только md5 хеши

    что бы пробрутить полностью список, не охота возиться по одиночным хешам :(

    кто возьмется?
     
  2. it's my

    it's my Banned

    Joined:
    29 Sep 2007
    Messages:
    335
    Likes Received:
    347
    Reputations:
    36
    язык без разницы, крайне желательно php/perl
     
  3. it's my

    it's my Banned

    Joined:
    29 Sep 2007
    Messages:
    335
    Likes Received:
    347
    Reputations:
    36
    и да если есть специальный раздел для подобной тему, перенесите что ли :(
     
  4. ErrorNeo

    ErrorNeo Elder - Старейшина

    Joined:
    2 May 2009
    Messages:
    923
    Likes Received:
    836
    Reputations:
    402
    с тебя спасибо?
     
  5. it's my

    it's my Banned

    Joined:
    29 Sep 2007
    Messages:
    335
    Likes Received:
    347
    Reputations:
    36
    а то )
     
  6. cremator (c)

    cremator (c) Elder - Старейшина

    Joined:
    20 Jun 2008
    Messages:
    258
    Likes Received:
    72
    Reputations:
    0
    Если делать без авторизации на сайте, то для прохода всех постов надо сделать около 260 запросов. Если с авторизацией и просмотром по 40 постов на стр., то около 60. Могу на Delphi написать, если надо.
    А идея не плохая, кстати)
     
  7. it's my

    it's my Banned

    Joined:
    29 Sep 2007
    Messages:
    335
    Likes Received:
    347
    Reputations:
    36
    сделай добро всем )
     
  8. -Onotole-

    -Onotole- Elder - Старейшина

    Joined:
    10 Jun 2008
    Messages:
    44
    Likes Received:
    141
    Reputations:
    8
    Идея отличная,поддерживаю :)
     
  9. Kaimi

    Kaimi Well-Known Member

    Joined:
    23 Aug 2007
    Messages:
    1,732
    Likes Received:
    809
    Reputations:
    231
    Code:
    use strict;
    use warnings;
    use LWP::UserAgent;
    #Диапазон страниц
    my $range = '1-261';
    my $output = './hash.txt';
    
    my $ua = new LWP::UserAgent;
    
    my ($i, $j) = split /-/, $range;
    
    for($i ; $i <= $j; $i++)
    	{
    	 print "Parsing page $i\n";
    	 my $data = $ua->get('/threadnav83865-'.$i.'-10.html')->content;
    	 my @list = ($data =~ /(\w{32})</g);
    	 if(@list)
    		{
    		 print " Found ".@list." hashes\n";
    		 open F, '>>', $output;
    		 print F $_.$/ for @list;
    		 close F;
    		}
    	}
    
    
     
    _________________________
    #9 Kaimi, 17 Aug 2009
    Last edited: 17 Aug 2009
  10. Pashkela

    Pashkela Динозавр

    Joined:
    10 Jan 2008
    Messages:
    2,750
    Likes Received:
    1,044
    Reputations:
    339
    PHP:
    <?php 
    $start 
    1;// Стартовая страница
    $end 3;//Последняя страница
    $pause 0;//пауза в секундах между каждой страницей
    $result fopen('MD5.txt','w');
    for (
    $i=$start;$i<=$end;$i++) {
       
    $a file_get_contents('/threadnav83865-' $i '-10.html');
       
    preg_match_all('|[a-z0-9]{32}|is',$a,$res[$i]);
       
    $res[$i] = array_unique($res[$i][0]);
       
    $b implode ("\r\n",$res[$i]);
       
    fwrite ($result,$b "\r\n");
       
    sleep($pause); 
    }
    fclose ($result);
    echo 
    "Done. Saved in MD5.txt";
    ?>
    Только DDOS получиться какой-то:)
     
    #10 Pashkela, 17 Aug 2009
    Last edited: 17 Aug 2009
  11. eLWAux

    eLWAux Elder - Старейшина

    Joined:
    15 Jun 2008
    Messages:
    860
    Likes Received:
    616
    Reputations:
    211
    Pashkela, eto gde zge tu vudel md5 hash s bykvoj 'z' ?
    [a-z] , kak bu pravulneje bydet /[a-f\d]{32}/

    it's my: scrupt y menja yzhe davno lezhut gotovuj ) i 4ekajet hash'u 4erez crackfor.me
    Kak tolko prujedy s morja - vulozhy :)
     
  12. Pashkela

    Pashkela Динозавр

    Joined:
    10 Jan 2008
    Messages:
    2,750
    Likes Received:
    1,044
    Reputations:
    339
    eLWAux:

    покажи мне хоть один хеш, который не хеш или не MD5, спарсенный при помощи этой регулярки из той темы, и я скажу, что ты прав
     
  13. ErrorNeo

    ErrorNeo Elder - Старейшина

    Joined:
    2 May 2009
    Messages:
    923
    Likes Received:
    836
    Reputations:
    402
    http://narod.ru/disk/12111045000/pplc.RAR.html
    в архиве 2 екзешника: dump.exe и pplc.exe

    1.запускаешь dump.exe, жмешь кнопку "dump".
    (при этом дампятся страницы по 40 постов на каждой, а не по 10 как стоит в браузере по умлочанию.). Всего сдампится 66 страниц, пишутся они в подпапочку 'input'. Как только сдампились:
    2. запускаешь PPLC, выбираешь опцию "парсить хеши", жмяк старт.
    через 3-4 секунды в подпапочке "output" твой файлик с хешами "output.txt", без дублей, с хешами, упорядоченными по алфавиту.

    всё:)

    если что, вот и сам файлик, который у тебя получится:
    http://narod.ru/disk/12111306000/hash.txt.html
     
  14. ErrorNeo

    ErrorNeo Elder - Старейшина

    Joined:
    2 May 2009
    Messages:
    923
    Likes Received:
    836
    Reputations:
    402
    после того, как ты все это сделаешь, перед тобой, Итс, встанет следующая проблема:
    примерно ~35-40% хешей в треде уже сломано.
    Тебе ведь нет надобности ломать их по 2-ому разу?
    Для этого, после того, как забирешь из output свой файлик, запусти PPLC еще раз, только теперь выбири опцию "парсить слова, состоящие из русских+английских букв+цифр" (только выстави минимальную длину слова =4 и максимальную хотя бы 15).
    Жмяк старт, и у тебя в аутпуте новый файлик "output.txt", который словарь, созданный из треда. Тоже без дублей, и упорядоченный по алфавиту.
    Прогнав по нему ты очень легко и удобно удалишь большую часть хешей, пассы к которым уже были выложены в треде.
    Не получится таким способом спарсить только пассы содержащие спецсимволы... но таких не особенно много.

    :)
    удачи в начинаниях, хешкрекер!
     
  15. it's my

    it's my Banned

    Joined:
    29 Sep 2007
    Messages:
    335
    Likes Received:
    347
    Reputations:
    36
    :( спасибо разобрался, плюсы нужны кому то нужны или нет?