Грабер сайта

Discussion in 'С/С++, C#, Rust, Swift, Go, Java, Perl, Ruby' started by DYUMON, 2 Dec 2011.

  1. DYUMON

    DYUMON New Member

    Joined:
    15 Sep 2010
    Messages:
    68
    Likes Received:
    2
    Reputations:
    0
    Доброго всем времени суток. Такая проблемка . надо в инете собрать информацию по некоторым организациям. подскажите как написать паука для грабинга старниц либо порекомендуйте готовые решения. как станицу рабобрать на части я знаю а вот как сайты грабить не доводилось.
     
  2. fuckyoupig

    fuckyoupig Member

    Joined:
    1 Mar 2011
    Messages:
    0
    Likes Received:
    11
    Reputations:
    2
    Code:
    function Pars(T_, ForS, _T: string): string;
    var
      a, b: integer;
    begin
      Result := '';
      if (T_ = '') or (ForS = '') or (_T = '') then
        Exit;
      a := Pos(T_, ForS);
      if a = 0 then
        Exit
      else
        a := a + Length(T_);
      ForS := Copy(ForS, a, Length(ForS) - a + 1);
      b := Pos(_T, ForS);
      if b > 0 then
        Result := Copy(ForS, 1, b - 1);
    end;
    Применение:
    page:='123Это строка456';
    showmessage(pars('123',page,'456'));

    Результат: Это строка
     
  3. xophet

    xophet Member

    Joined:
    16 Apr 2011
    Messages:
    617
    Likes Received:
    49
    Reputations:
    5
    я подозреваю, что ТС хочет написать прогу, которая сама будет искать следующую страницу, переходить на нее, а потом уже ее разбирать.
    Уточните ТС.
     
  4. Feonor

    Feonor Elder - Старейшина

    Joined:
    23 Jul 2008
    Messages:
    128
    Likes Received:
    52
    Reputations:
    19
  5. DYUMON

    DYUMON New Member

    Joined:
    15 Sep 2010
    Messages:
    68
    Likes Received:
    2
    Reputations:
    0
    язык делфи. мне надо сграбить порядка 100 страничек. они идут одна за другой. буду пробовать.
     
  6. DYUMON

    DYUMON New Member

    Joined:
    15 Sep 2010
    Messages:
    68
    Likes Received:
    2
    Reputations:
    0
    Впринципе это оказалось не так сложно :) сграбил за несколько минут нужные данные. Как доведу его до ума выложу сюда