Ищу скрипты для создания поисковой машины. Необходим спайдер для сканирования web-сайтов инета (НЕ одного сайта). Язык - любой (в т.ч. Perl и C) - под юникс. Если кто нить где-то встречал подобные (возможно и платные) скрипты - просьба отписать.
Гляень MnoGoSearch отличная софтина, под никсы бесплатная. Сам на ней сижу. Все удобно кладется в БД. Работает со всеми типами БД. можно организовать как поиск по сайту так и по сети. Выводить можно из БД встроеными средствами своим скриптом либо использовать php api после установки модуля. Вообщем замечательная штука, особенно учитывая ее цену. Система - http://www.mnogosearch.org/ Неплохой ман - http://linux.yaroslavl.ru/docs/conf/mnogosearch/index-ru.html
http://www.cs.ioc.ee/~ando/sphider/ А вообще тут много всего http://www.hotscripts.com/PHP/Scripts_and_Programs/Search_Engines/index.html
Да, это я находил, смотрел описание. Но по-моему она ориентированна на индексирование одного сайта. Кроме того, серьезные инет-поисковики на БД не сидят, это крайне неэффективно.
>Да, это я находил, смотрел описание. Но по-моему она ориентированна на >индексирование одного сайта. Кроме того, серьезные инет-поисковики на БД не сидят, это крайне неэффективно. Нет какразтаки она ориентировано на вариацию, тоесть ты можеш выбрать мультиДБ и работать со множеством сайтов, конечно до поисковика типа Гугла она не дотянет я не спорю. По поводу БД трудно сказать, не нравится БД бери сурс и меняй на что хочеш!
2bul.666 да просто гениально. >>серьезные инет-поисковики на БД не сидят, это крайне неэффективно. почему бы не использовать бд типа sqlite?)