Индекс или поисковый индекс — база данных, содержащая информацию о документах, собранную роботами-индексаторами поисковых систем. Процесс занесения поисковым роботом информации о том, что появилось на сайте в базу данных называется индексацией сайта. В данных что в собираются с сайта в основном содержится информация о расположении ключевых слов в разных частях страниц сайта и внешних ссылок с них. В некоторых случаях индексироваться могут и изображения. После обработки полученных данных поисковые системы с помощью соответствующих алгоритмов ранжирования получают возможность выводить сайт в выдаче результатов. Поскольку базы данных постоянно обновляются, число проиндексированных страниц может периодически меняться.
Способы индексации сайта
На сегодняшний день существует два способа индексации сайта — ручной и автоматический. Первый — это добавление адреса сайта через соответствующую форму для индексации (аддуерелка), в результате чего робот получает сведения о месте нахождения сайта. Второй, происходит в автоматическом режиме без вмешательства пользователя. Поскольку данный процесс может длиться неограниченное время, для его ускорения используются внешние ссылки с уже проиндексированных сайтов.
Управление индексацией осуществляется с помощью файла robots.txt, в котором можно позволить или запретить доступ поисковым работам в тех или иных страниц сайта.