Умные парсеры

Discussion in 'PHP' started by MafiaBoy3, 10 Nov 2008.

  1. MafiaBoy3

    MafiaBoy3 Banned

    Joined:
    14 Apr 2007
    Messages:
    295
    Likes Received:
    15
    Reputations:
    1
    Вообщем хочу написать парсер на php , которыйпарсит загруженную страницу вот по такому вот алгоритму:
    1. найти в тексте все имена людей и
    записать их в файл отдельно
    2. найти в тексте все глаголы (Past simple tense) и также записать их в файл отдельно..


    Вопрос: Это вообще реально ли?
    Можно ли это как то будет ускорить?
     
    #1 MafiaBoy3, 10 Nov 2008
  2. -=lebed=-

    -=lebed=- хэшкрякер

    Joined:
    21 Jun 2006
    Messages:
    3,803
    Likes Received:
    1,957
    Reputations:
    594
    Реально, если есть словарь глаголов и отдельно имён.
    Если без словарей, анализировать где глагог, а где имя каким образом будешь? Попахивает лингвистическим анализатором, сам ты его сходу точно быстро не напишешь...
     
    #2 -=lebed=-, 10 Nov 2008
  3. MafiaBoy3

    MafiaBoy3 Banned

    Joined:
    14 Apr 2007
    Messages:
    295
    Likes Received:
    15
    Reputations:
    1
    спасибо а если этих самых имён и глаголов более 10.000 тыс. стоит ли?
    И какова будет скорость?
     
    #3 MafiaBoy3, 10 Nov 2008
  4. -=lebed=-

    -=lebed=- хэшкрякер

    Joined:
    21 Jun 2006
    Messages:
    3,803
    Likes Received:
    1,957
    Reputations:
    594
    Не знаю, но если заюзаешь регулярки, имхо, должно относительно быстро получиться...
     
    #4 -=lebed=-, 10 Nov 2008
    1 person likes this.
  5. MafiaBoy3

    MafiaBoy3 Banned

    Joined:
    14 Apr 2007
    Messages:
    295
    Likes Received:
    15
    Reputations:
    1
    а как мне можно приучить паука чтобы он мог копировать страницы вконтакте в базу данных?

    Вконтакте ведь запаролен
     
    #5 MafiaBoy3, 10 Nov 2008
  6. Chaak

    Chaak Elder - Старейшина

    Joined:
    1 Jun 2008
    Messages:
    1,059
    Likes Received:
    1,067
    Reputations:
    80
    в http запрос добавляй cookiesы контакта.

    Используй curl/zend_http_client, т.к с ними проще работать.
     
    #6 Chaak, 10 Nov 2008
    Last edited: 10 Nov 2008
  7. MafiaBoy3

    MafiaBoy3 Banned

    Joined:
    14 Apr 2007
    Messages:
    295
    Likes Received:
    15
    Reputations:
    1
    ChaaK
    Где можно почиать на русском так чтобы выучить ра и навсегда про curl/zend_http_client?
     
    #7 MafiaBoy3, 10 Nov 2008
  8. Chaak

    Chaak Elder - Старейшина

    Joined:
    1 Jun 2008
    Messages:
    1,059
    Likes Received:
    1,067
    Reputations:
    80
    Google.com -> работа с curl site:phpclub.ru

    Не могу дать прямой ссылки, т.к сижу с тела
     
    #8 Chaak, 10 Nov 2008
(You must log in or sign up to post here.)