Подготовка сайта к индексации
Все страницы сайта должны работать, на продвигаемом сайте не должно быть
«несуществующих» страниц. В случае, если изготовление сайта осуществлялось
с использованием серверных скриптов (php, perl, asp и др.), следует проследить,
чтобы скрипт не генерировал множество одинаковых страниц (очень частая ошибка).
Если в серверных скриптах используются сессии, то поисковым роботам имеет
смысл выдавать эти же страницы без них. Проверку можно сделать по ip или по
user-agent’у, найти эти данные можно на официальных сайтах поисковых систем.
Следует запретить к индексированию ненужные страницы. Проще всего это
Следует запретить к индексированию ненужные страницы. Проще всего это
сделать с помощью специального файла – «robots.txt», к которому обращается
робот всякий раз при индексировании сайта. Этот файл должен быть выложен
в корне. Можно это сделать и с помощью специального тэга в html-коде, но на
мой взгляд, этот вариант хуже, поскольку занимает больше места и не сокращает
количество обращений к сайту (роботу еще надо найти этот код на странице,
а robots.txt – первый файл, к которому он обратится, зайдя на сайт).
Очень на многих банковских сайтах существуют версии страниц для печати.
Эти страницы с тем же самым текстом, но без навигации, рекламы, копирайтов
и другой «лишней» информации. Если человек попадет на такую страницу из
результатов поиска, он увидит только текст статьи, но не сможет перейти на
другие страницы сайта, так как на ней нет меню. Поэтому такие страницы также
имеет смысл запрещать к индексированию.
