Запрет индексации через .htaccess

Как запретить индексирование отдельной папки или всех папок/файлов сразу ? Не хочу палить двиг на хосте,но также хочу сохранить возможность индексирования остальных,нужных мне папок.И ещё вопрос: если не стоит никаких мер против индексации поисковиков,то как быстро сработает мегаприём Index .of ? Спасибо.

 

Создать файл robots.txt в корне сайта, с содержимым:

Code:

User-agent : *
Disallow : /папка1
Disallow : /папка2

 

Зачем через него ? Я так только расположение админки укажу ))Слышал,что можно через .htaccess как-то (мод рерайт),но сам никогда такого не делал.Вообще,нужно закрыть для индексации несколько папок по желанию и файлов,содержащихся в них,но так,чтобы об этом не стало известно ни гуглу,ни посетителям )

 

Любая папка, доступная из веба - доступна и гуглу. А роботсы.тхт - это ты правильно подметил, гы

 

Да... я раньше думал,что алиасы спасут.Но блин,почему тогда на других сайтах в роботс.тхт не указывается папка админки,но и другие поисковики не видят её =_=.Проверено на друпале и жумле)

ЗЫ: Pashkela,с тобой я не согласен))Решение есть...

 

Я не совсем тебя понял: Что ты имел ввиду в плане *доступная из веба* ? Доступно его содержимое или же существование известно ?(Знание о существовании папки на сервере - тоже часть доступа )) ).Если что,то я имел в виду предотвращение узнавания существования папки или файла)

 

Велемир Гугл индексирует страницу, только если где-то есть ссылка на эту страницу. Следовательно - найдите эти ссылки и прибейте их, добавьте роботс.тхт на время очередной индексации чтобы убрать админку из поиска. Потом роботс можно удалить

Через хтаксес можно заблокировать гугло бота на определенные страницы, но зачем?

 

ахахах,вот не знал)))То бишь должна быть где-то ссылка на странице(неважно какая) на админку,чтобы её спалить ?))А как узнать время индексации ? Всмысле когда там гугл начнёт мучиться,бегая по сайту? А то я не пойму,когда роботс удалять)

 

Ты можеш легко понять проиндексирован ли твой сайт введя в гугл его адрес.
Другое дело что если гугл его не забанит то через какоето время он вернется чтобы проиндексировать повторно.

 

Так сайт уже проиндексирован),а как определить,когда будет переиндексация сайта заного ?

 

если доступ открыт нескольким людям, то вполне возможно что через какой то refer - путь может уплыть на сайт где стоит скрипт google adsense, либо, кто то юзает google crome.

 

2 PEPSICOLA:

))) Пусть они думают, что они в курсе механизма работы гугла - избранные то есть

 

гг,я этого палева реферера боюсь уже как года три четыре)))

 

Велемир
http://www.beget.ru/art10.html

ps: но гугл не всегда ходит под "своим" user agent'ом

 

поменяй содержание какойнибудь странице и ищи адрес сайта вместе со словом которого там небыло раньше.

 

Велемир Индексация где то раз в 3-5 дней. Посмотреть можно в access_log если там сохраняется юзер-агент.

Code:

grep -i "googlebot" путь/до/access_log

 

в хтацессе мод реврайт с нужных страниц на 404 если в юзер агенте есть слово Google. проканывает ) но точный код не знаю. где-то видел...