Есть сайт, у него 300 000 индексированных страниц, я поставил в файле роботс.тхт строку Code: Disallow: / Индексированные страницы выпадут из индекса? Если нет, то что нужно сделать, чтобы выпали?
Если страницы не под ЧПУ и все они под index.php, то да. Ведь строчка "/" по умолчанию будет значит index.php. И умрут страницы index.php?.... Хотя могу ошибаться
Помоему все таки если в сервере указано что при запросе на "/" должен открыться index.php, то и робот будет это связывать с индексом
Нет там слеш строго по каталогам, просто / - означает верхний уровень Всем спасибо, не то сомневался бы User-Agent: * -тоже стоит