предсказуемым. Регистрируясь в каталоге, пользователь вносит в установленные формы данные о сайте так, как он хочет. Однако далеко не всегда информация о ресурсе будет отображена впоследствии в каталоге в первозданном виде: многие подобные серверы по-своему редактируют описание ресурсов, руководствуясь при этом собственными доводами.
Поисковые системы, в отличие от встроенных в каталоги поисковых двигателей, ищут не в пределах определенной серверными настройками базы данных, а по всей сети, выводя страницы, находящиеся в их индексах. Этим занимаются так называемые поисковые роботы (spiders, wanderers, robots). При обращении к серверу робот проверяет наличие специального файла robots.txt в его корневой директории, в котором могут быть вручную установлены правила индексирования тех или иных документов узла. Однако не все роботы «умеют» читать указанную в этом файле информацию; часть из них не поддерживает специальный стандарт описания правил индексирования файлов Standard for Robot Exclusion. К сожалению, сегодня не все Web-мастера и координаторы интернет-проектов имеют представление об этом стандарте, к тому же не каждый системный администратор, настраивающий Web-сервер, придает применению правил описания для поисковых роботов должное внимание. Однако дальнейший разговор пойдет не о стандарте Standard for Robot Exclusion, что требует изучения специальных параметров описания правил и работы с Web-сервером, а о том, как правильно подготовить страницы своего интернет-проекта для индексирования поисковыми роботами.
Когда пользователь вводит в строке запроса поисковой системы какое-то слово или словосочетание, робот обращается ко всем проиндексированным страницам. Количество полученных результатов может достигать десятков и даже сотен тысяч. Робот выводит результаты по критерию наибольшего соответствия содержания документов запросу пользователя, который называется релевантностью. Другими словами, самые подходящие страницы будут размещены в начале результирующего списка. Рассмотрим факторы, которые влияют на релевантность ключевых слов.
Количество ключевых слов. Под количеством ключевых слов (keywords) подразумевается их частота присутствия в документе (не путать с указанием ключевых слов в мета-тегах, разговор о которых пойдет ниже). То есть страница, на которой робот обнаружит пятнадцать раз запрошенное пользователем слово, будет более релевантна, чем та, которая содержит это слово всего три раза. Этот фактор, как правило, зависит от тематики ресурса и профессиональной этики Web-мастера. Логично допустить, что если страница называется «Лучшие бесплатные программы для Unix», в ее тексте навряд ли можно встретить слова «эротика», «макияж» или «трубопровод». Зато «система» или «Unix» могут встретиться десятки раз. Но когда вопрос траффика перерастает в вопрос жизни или смерти, некоторые Web-мастера идут на неэтичный шаг: указывают в документе ключевые слова, совершенно не имеющие отношения к теме ресурса. Делается это обычно очень мелким шрифтом в самом низу страницы или цветом,