Счетчик Sitemeter засек на днях посещение одного моего ресурса роботом. Вот выдержка из отчета:
IP: 66.249.71.# (Google)
Browser: Google 5.0: Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)
Javascript: enabled
Page views: 3
Visit Length: 17 min.
Паук обычный. Но обратите внимание на поддержку Javascript! К тому же счетчик Sitemeter – это скрипт вот такой:
<!-- Site Meter XHTML Strict 1.0 -->
<script src="http://s31.sitemeter.com/js/counter.js?site=…" type="text/javascript">
</script>
<!-- Copyright (c)2006 Site Meter -->Причем IP адрес правильный, это настоящий Googlebot'овский адрес!
Гугл обучил или обучает своих пауков понимать Javascript?
Update: гугл помог найти мнение коллективного разума. Гуглобот умеет находить ссылки внутри тэгов script и ходить по этим ссылкам. Похоже на правду.