INTERNET-WEB.RU
Обучение работе с ПК
Операционные системы
Флеш (Flash)

Роботы поисковых систем

Для того чтобы документы с сервера могли использоваться в поиске, их необходимо просмотреть и проиндексировать. Выполняет эти операции специальная программа, которую называют роботом. В связи с загруженностью поисковых систем робот начнет просмотр вашего сайта не сразу, а через определенное время: от одного дня до нескольких недель. Существует несколько различающихся технологий, используемых программами-роботами, поэтому результаты обработки документов (результаты поиска) будут отличаться в различных системах.

Просмотр сайта начинается со страницы, указанной в регистрационных данных. Робот проанализирует все содержащиеся на этой странице ссылки на другие материалы и откроет их для анализа. Если, в свою очередь, на новых страницах будут найдены гиперссылки на следующие документы, то процесс повторится: робот загрузит для обработки новые документы. Так будет продолжаться до тех пор, пока не будут просмотрены все гиперссылки в структуре документов вашего информационного сервера. Для информационных сайтов, содержащих значительное число страниц, этот процесс может длиться несколько дней. Кстати, если сайт содержит много документов, связанных ссылками, то обращения некоторых роботов могут серьезно загрузить сервер.

Запрошенные страницы обрабатываются по специальным алгоритмам, различным для всех поисковых систем, и на сервере поисковой системы результаты добавляются в так называемый индекс. Индекс — это специальным образом сформированная база данных, используемая для ускорения поиска. Индекс позволяет быстро ответить на поисковый запрос, не обращаясь к исходным материалам.

При составлении индекса роботы анализируют специальные ~~ служебные поля документа , из которых они «берут», например, ключевые слова, краткое описание и т. п.

Поскольку информация на страницах Интернета периодически меняется, то индексирование сайта поисковая система проводит регулярно. Частота переиндексации зависит от двух факторов: как часто меняются данные и насколько загружена поисковая система, — но обычно составляет от двух недель до месяца.

Так как не существует универсальной поисковой системы, то такую регистрацию следует провести на всех известных вам поисковых серверах. Вы можете выполнять операции вручную, а можете воспользоваться каким-либо сервером-регистратором. Существуют как коммерческие серверы-регистраторы, которые осуществят регистрацию страницы на всех основных поисковых системах, так и бесплатные, отличающиеся от первых обычно меньшим охватом поисковых систем.

Учитывая также, что Интернет в России развивается семимильными шагами, необходимо следить за появлением новых поисковых систем, чтобы своевременно зарегистрироваться на них.

© 2009 internet-web.ru. All Rights Reserved