Перед регистрацией сайта в каталогах сервис 1ps.ru говорит что нужно убрать запрет на индексацию файла с беклинками,так как многие каталоги не найдут ссылку на себя. Я его посмотрел-это ссылкопомойник натуральный. А можно robots.txt представить как php скрипт ,который в случае user_agent=Googlebot,Yandexbot.... выдаёт запрет,а в случае каталогов-не выдает.