Помогите советом нужна автоматизация

Discussion in 'Болталка' started by ExQ, 24 Jan 2019.

  1. ExQ

    ExQ Banned

    Joined:
    8 Apr 2010
    Messages:
    17
    Likes Received:
    9
    Reputations:
    0
    Приветствую! Выручите кто как автоматизировать данную проблему!
    Смотрите, имеется большой список сайтов в этих сайтах в исходном коде нужно найти определенный текст/элемент
    и отпарсить только те сайты где имеется данный элемент
     
  2. Jerri

    Jerri Elder - Старейшина

    Joined:
    12 Jul 2009
    Messages:
    136
    Likes Received:
    377
    Reputations:
    22
    10 строк кода на питоне. 50 строк на каком нибудь go. И 1-2 часа в Гугле, если нет опыта программирования вообще)
     
    ExQ likes this.
  3. crlf

    crlf Green member

    Joined:
    18 Mar 2016
    Messages:
    663
    Likes Received:
    1,421
    Reputations:
    441
    Если некуда торопиться, то вот:
    /threads/440272/#post-3977018

    На вход файл links.txt и заменить fb-comments на требуемое значение.
     
    ExQ and Spinus like this.
  4. -=4ekiSt=-

    -=4ekiSt=- Member

    Joined:
    17 Nov 2011
    Messages:
    34
    Likes Received:
    11
    Reputations:
    3
    https://dropmefiles.com/vXbzB
    text.txt - искомый текст, urls.txt - линки где ищем, UserAgents.txt - с каким UA чекаем линки
     
    ExQ likes this.
  5. IloveRU

    IloveRU Member

    Joined:
    21 Jul 2010
    Messages:
    53
    Likes Received:
    14
    Reputations:
    1
    1. скачать все страницы, с помощью аддона для мозиллы https://addons.mozilla.org/ru/firefox/addon/downthemall/ (возможно придется установить старую версию мозиллы)
    2. скачать notepad++, нажать "Поиск">"Найти в файлах"
     
  6. DartPhoenix

    DartPhoenix Elder - Старейшина

    Joined:
    15 Sep 2013
    Messages:
    1,019
    Likes Received:
    7,618
    Reputations:
    24
    Наследие товарища Стаханова издалека видать :)
     
    Spinus and hydra like this.