Есть более 100.000 статей в txt, html формате. Какие у кого есть варианты, идеи? Как же их все проверить на уникальность?
либо сам, либо платить людям. Можно еще написать скрипт, который открывает файл, читает заголовок и запрашивает в поисковике, если находит, то сравнивает уже содержание последующего.
Не это совсем не вариант. Пока придумал вот такой вариант: 1. Устанавливаем денвер 2. Кидаем все файлы на денвер в формате html 3. Софтом "Content downloader" парсим все ссылки с localhost 4. Берём программу "Etxt антиплагиат", Операции > проверка сайта> загружаем спаршенные ссылки. Операции > настройки > другое > подключаем прокси, антигейт. может кому это пригодится. Но работает очень медленно... При загрузке большого количества линков виснит на text_ru есть проверка таких фаулов. Но у них блин 1к = 0.50р а в ручную это ппц... проверил за день 500 статей из них 130 уникальных Может есть у кого ещё какие идеи?
так есть же прога для проверки текста по инету. Уникальности типо. Показывает процент "выдранного из интернета" не помню как называется. Адвего Плагиатор чтоле, я хз.
ну хз насчет того чтобы по линкам. можно. либо же рандомно выбирать в статье 1-2-3-x предложения и искать их в остальных 99999 и так в цикле. все их смапить ты не сможешь, потому как при размере статьи в 1 мег, понадобится 1 терабайт в сумме, поэтому разбей на блоки, если у тебя на компе 8гб озу (х64 ось обязательно), 4 полюбому можешь заюзать не напрягая систему. расчет такой 4гига = смапить в память 4000 файлов по одному мегу. чекнуть их, выгрузить, смапить еще 4000, ну и так 25 раз подряд.
Кто может написать скрипт за копейку? ТЗ: Заходим на http://text.ru/text_check Авторизация в форме e-mail;pass... Берём текстовый документ с указанной папки на компьютере... Втравляем из него текст в поле "Проверить текст" Нажимаем проверить. Ждём результата Сохраняем результат (если есть хотя-бы 80-90% уникальности ) в папку указанную на пк.
статьи по сколько символов? тематика одна или нет? мебель есть? по чем отдашь мебель?если есть и цена готовая есть, то за хорошую скидку чекнем все на уникальность