У меня на одном сайте (без пхп) менюшка (с ссылками) генерируется на каждой странице через JS - бот индексирует только главную страницу (остальные не видит), файл robots отсутствует... Если всеже crawler`ы юзают JS - еще один вопрос: можно ли на JS определить - кто грузит страницу юзер или бот??
- то что не индексируются остальные страницы это пока что неважно - я просто код перепишу на пхп и сменю хост, это просто как аргумент в пользу того что краулеры не работают с JS... Мне гораздо важнее получить ответ на 2 вопрос. З.Ы. Ответы типа "да"/"нет" меня не устраивают - аргументируйте или давайте линки на инфу, на основе которой был вынесен вердикт... ну или вообще не пишите - если точно не знаете.
Я не знаю можно ли на JS определить User-Agent. Я уже точно не помню для чего, но делал в связке с php. Что-то вроде: PHP: <script> <?php echo "var ua=\"".$_SERVER['HTTP_USER_AGENT']."\";"; ?> alert("Ваш юзер агент - "+ua); </script> Это конечно как вариант, но ща глянул в гугл есть и реализация на JS
у меня на сайте ссылки также генерируются на JS и ни одна сволочь их не индексирует. Пришлось сделать "кеш" ака карта сайта. Она сразу попала в индекс.
Искал уже достаточно давно - ничего не нашел по этой теме По моим личным наблюдениям - всеже JS краулерами не выполняется - т.к. в кэше ПС - мой сайт без того контента, который динамически генерится на JS З.Ы. возможно у разных ПС - по разному, но гугл мой сайт также не проиндексировал (тока главную страницу)
Обфусцированные редиректы запрятанные в JS отлично обрабатывает (в т.ч. и события типа onmouseover, setTimeout, и ajax тоже), и бежит по ссылкам. По опыту с дорвеями знаю
Гуглботы есть специальные под разные цели, есть гугл бот который выкупает штучки с js, есть который выкупает клоакинг и т.д. Может и вовсе не прийти, если нет на сайте трафа. Поставь пару десятков ссылок с PR>5, сразу ощутишь на себе всю мощь гугловских хитроботов ))
Eto i est' analiz =\ on isleduet kod JS i emuliruet pol'zovatelya. esli est' naprimer [onclick="document.location='page.chm'"] on budet indeksirovat' page.chm i ne budet lomat' "golovu" nad ciklami, dvijeniem kartinok i td. Analiz dlya indeksacii i vipolnenie JS - raznie veshi =\ Sorry za kodirovku. WIN tupit padla
diehard, Так получается индексация по JS всетаки не идет - поиск дорвеев и тому подобное - это мне пох впринципе, меня интересует именно обработка JS-генерируемого контента. З.Ы. появилась кстати идейка: создать невидимый ифрейм на главной со всеми ссылками - и поидее можно обойтись без карты сайта)) З.З.Ы. и еще: на пыхе-то точно можно кравлеров отлавливать - и если для ботов будет генериться дополнительный keyword`ный мусор - это негативно не отразится на рейтинге?)))