есть подозрение что подменяют имя файла robots.txt просто пишу систему проверки целостности файла и было замечено что на одном сайте путь к файлу почему то неправильный - хотя файл robots.txt лежит в корне как можно узнать в имени файла robots.txt русские ли эти о, o
все просто. проверяй ASCII код каждой буквы, если он в диапазоне от 97(0х61) до 122(0х7А) - то это английская буква(маленькая). закрываю тему.