Главная » 2010 » Март » 18 » Как работает робот-поисковик?
16:41
Как работает робот-поисковик?

Воспринимайте поисковых роботов, как программы для автоматического сбора информации, которые путешествуют по сети и ищут информацию и ссылки на нее.

Когда вы регистрируете свою веб-страницу в поисковой системе, в очередь на просмотр веб-сайтов роботом добавляют новый URL. Даже если вы не зарегистрируете веб-страницу, многие роботы найдут этот продвигаемый в интернете сайт, так как имеются ссылки с других веб-сайтов на ваш ресурс. Это одна из причин, по которой важно работать над ссылочной популярностью и проводить размещение ссылок на различных тематических веб-сайтах.

Придя на ваш веб-сайт, робот сначала проверит, имеется ли файл robots.txt. Этот файл сообщит роботу, какие разделы данного ресурса не подлежат процессу индексации.

Робот хранит и собирает ссылки с каждой страницы, которую он посещает, а позжднее проходит по этим ссылкам на другие веб-страницы. Вся Паутина состоит из ссылок. Начальной идеей создания интернет-сети было предоставление возможности перемещения посредством ссылок с одного места в другое.

«Остроумность» касательно индексирования веб-страниц в масштабе реального времени зависит от инженеров поисковых роботов, создавших методы, которые теперь используются для оценки информации, добываемой поисковыми роботами. Будучи внедренной в базу данных поискового робота, информация станет доступной пользователям, осуществляющим поиск. Когда пользователь поискового робота вводит поисковый запрос, производятся быстрые вычисления для того, чтобы получить уверенность в том, что выдается действительно верный набор веб-сайтов для выдачи наиболее релевантных ответов.

У вас есть возможность просмотреть, какие страницы продвигаемого сайта в интернете уже посещены поисковым роботом, посредством лог-файлами сервера, или результатов статистической обработки лог-файла. Идентифицируя роботов-поисковиков, вы увидите, когда ими был посещен ваш ресурс, какие именно страницы, как часто. Некоторых роботов легко идентифицировать по их именам. Других роботов так же можно встретить в логах и, возможно, вам не удастся идентифицировать их сразу; некоторые из них даже могут оказаться браузерами, управляемыми человеком.

Статистика покажет вам и каждого агрессивного, поглощающего ширину канала пропускания робота или робота, нежелательного для посещения оптимизированного и продвигаемого сайта.

Просмотров: 2353 | Добавил: iphone-servis | Рейтинг: 5.0/1
Всего комментариев: 0
Имя *:
Email *:
Код *: