Насколько Google продвинулся в обработке Ajax? По словам Мэтта Каттса, руководителя группы Google Webspam, Google с течением времени совершенствуется в распознавании Javascript и Ajax.
Я бы не рекомендовал веб-мастерам блокировать Javascript, CSS и т.д. в robots.txt, говорит Мэтт Каттс. Для поисковика доступ к сканированию Javascript – способ выяснить, как мы способны его обрабатывать, а также возможность получить более полное представление, что это за страница на сайте. Поэтому уберите запрет для робота Google в robots.txt сканировать Javascript, Ajax и т.д., заключает Мэтт Каттс.