Сейчас все кому не лень делают поисковики - каждый школоло уже может открыть свой "гугл" а частенько такие поисковики игнорят robots.txt и индексируют всё подряд. как с такими бороться можно ?
где то вычитывал - что можно запретить таким вообще заходить - ставятся ограничения на домены их и ip вот только статья не сохранилась...