Вот описание некоторых роботов яндекса для индексации сайтов:
... — робот, определяющий зеркала
... — робот, индексирующий пиктограммы
... – робот, индексирующий xml-файлы для поиска по блогам.
...Bond, James Bond (version 0.07) — робот, заходящий из подсети
Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам.
Referer не передает. Картинки не загружает. Судя по повадкам, робот
занимается проверкой сайтов на нарушения – клоакинг и пр.
А теперь представьте себе. что речь идет не об интернете.