Только что, добавил свой новый сайт в поисковик мейл ру и в статистике сразу увидел, следующую запись: Это что же получается, роботы мейл ру пользуются фальшивыми User-Agentами ? А как же теперь ловить пауков ?
Гуглботы тоже частенько на фаефоксе полюбляют сидеть)) Всех все равно не отловишь. Видел продавали базы айпи ботов, но это неефиктивно мне кажется. Поисковики все умнее и умнее каждый день становятся.