robots.txt

Discussion in 'Болталка' started by eclipse, 7 May 2011.

  1. eclipse

    eclipse Member

    Joined:
    19 Dec 2010
    Messages:
    155
    Likes Received:
    74
    Reputations:
    85
    Есть сайт, у него 300 000 индексированных страниц, я поставил в файле роботс.тхт строку

    Code:
    Disallow: /
    Индексированные страницы выпадут из индекса?
    Если нет, то что нужно сделать, чтобы выпали?
     
  2. НTL

    НTL Elder - Старейшина

    Joined:
    26 Jan 2008
    Messages:
    715
    Likes Received:
    205
    Reputations:
    -26
    Возможно
     
  3. OnlyOn

    OnlyOn Banned

    Joined:
    18 Oct 2010
    Messages:
    252
    Likes Received:
    89
    Reputations:
    36
    Если страницы не под ЧПУ и все они под index.php, то да.

    Ведь строчка "/" по умолчанию будет значит index.php. И умрут страницы index.php?....
    Хотя могу ошибаться
     
  4. eclipse

    eclipse Member

    Joined:
    19 Dec 2010
    Messages:
    155
    Likes Received:
    74
    Reputations:
    85
    Да, я на то и надеюсь, кмс - джумла => index.php? bla bla bla ))
     
  5. Konqi

    Konqi Green member

    Joined:
    24 Jun 2009
    Messages:
    2,248
    Likes Received:
    1,148
    Reputations:
    886
    / = корень

    ничего индексироватся не будет

    не забудь указать User-agent:
     
    _________________________
  6. OnlyOn

    OnlyOn Banned

    Joined:
    18 Oct 2010
    Messages:
    252
    Likes Received:
    89
    Reputations:
    36
    Помоему все таки если в сервере указано что при запросе на "/" должен открыться index.php, то и робот будет это связывать с индексом
     
  7. Konqi

    Konqi Green member

    Joined:
    24 Jun 2009
    Messages:
    2,248
    Likes Received:
    1,148
    Reputations:
    886

    хз хз, может зависить от поисковика, я думаю яндекс как всегда выделится своей тупостью
     
    _________________________
  8. eclipse

    eclipse Member

    Joined:
    19 Dec 2010
    Messages:
    155
    Likes Received:
    74
    Reputations:
    85
    Нет там слеш строго по каталогам, просто / - означает верхний уровень

    Всем спасибо, не то сомневался бы :)

    User-Agent: * -тоже стоит :)
     
  9. fl00der

    fl00der Moderator

    Joined:
    17 Dec 2008
    Messages:
    1,028
    Likes Received:
    310
    Reputations:
    86
    Вряд ли это выбьет из выдачи уже проиндексированные страницы.
     
    _________________________
  10. eclipse

    eclipse Member

    Joined:
    19 Dec 2010
    Messages:
    155
    Likes Received:
    74
    Reputations:
    85
    С чего ты это взял?