Wiki

Bot

Bot (поисковый робот) — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия, паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, и отправляется по ссылкам на следующие страницы.

Предписания для ботов по отношению к сканированию сайта регламентируются настройками файла robots.txt.

Порядок обхода ботами страниц сайта, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются алгоритмами поисковых систем, настройки файла robots.txt являются лишь рекомендациями для поискового бота. В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.

Синонимы «Бот»: паук, spider, www-бот, поисковый робот, Google-bot, Yandex-bot.