Здравствуйте. Сделал файл robots.txt для одного из своих СДЛ'ов. Залил на хост и решил проверить через веб. И получил совсем другую картину. Code: # Generated by Page Promoter (http://netpromoter.ru/order) User-Agent: * Disallow: Sitemap: http://cvutz.pemrsandman.ru/sitemap.xml Sitemap: http://cvutz.pemrsandman.ru/sitemap.txt Host: cvutz.pemrsandman.ru User-agent: Yandex Allow: / Sitemap: http://cvutz.pemrsandman.ru/sitemap.xml Sitemap: http://cvutz.pemrsandman.ru/sitemap.txt Host: cvutz.pemrsandman.ru Что самое интересное в корень залил свой robots, но из веб его не видно, а выводит вот эту ахинею, что выше. Что делать ? Как быть ?
Проблему решил обращением в ТП к хостеру. Посоветовали поменять название файла в old_robots.txt и назад. Не знаю для чего, но через некоторое время помогло.
Изначально было всё нормально у тебя, просто нужно было обновить куки в браузер. (у меня 1 в 1 была проблема).
А как написать robots.txt для сайта на трех языках если домен будет к примеру ххххххх.com.ru, xxxxxxx.com. ua, xxxxxxx.com.kz и т.д.