Совсем недавно Yandex ввел в действие свой инструмент вебмастера и оптимизатора. По адресу webmaster.yandex.ru теперь доступна ссылка “Мои сайты”. Подтвердив ему причастность к своим сайтам мы получаем доступ к статистике и логам работы поисковика с моими сайтами.
А в частности там указана следующая полезная нам информация:
дата последнего обращения робота к моему сайту, число загруженных страниц, перечислены пройденные разделы, возникшие ошибки с описанием их типов, число внешних и внутренних ссылок, анализ файла robots.txt
Аналогичный сервис у гугла находится по адресу: google.com/webmasters/tools
Будьте внимательны, сами по себе используемые нами CMS оптимизированны под поисковые ситемы, а вот установленные дополнительные модули требуют заботы. Так например для CMS WordPress на данном сайте мне пришлось писать следующий файл robots.txt, чтобы избавиться от ошибок:
# Обращение ко всем поисковикам
User-agent: *
# Делать задержку в обращении (но многие её все таки игнорируют)
Crawl-delay: 10
# Исключить из индекса ссылки вида /что-то-там/trackback/
Disallow: /*/trackback/
# Исключить из индекса файлы и разделы начинающиеся на
Disallow: /download-manager
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /search
# Исключить из индекса раздел feed
Disallow: /feed/
Смысл данных операций в том, чтобы исключить из индекса закрытые разделы wp-admin, wp-login (это не обязательно но желательно), неинформативные и повторяющиеся разделы trackback, search, feed (это обязательно, иначе ошибка).
Интересная деталь: данный файл robots.txt великолепно подходит для поисковиков Yandex и Google, но на сайте гугла упоминается о том, что использование расширенного синтаксиса (символы: * – любой символ, $ – конец строки) поддерживается не всеми поисковыми роботами. Но я, честно говоря, не знаю про кого он говорит, видимо о каких-то мало известных поисковиках.
Итак с вордпрессом все понятно, а вот с друпалом будет труднее. На разработанном мною сайте www.livekuban.ru используется 43 сторонних модуля не считая дополнительных модулей идущих в комплекте с CMS Drupal. В данный момент файл насчитывает 58 строк, я не буду его здесь выкладывать, он слишком большой, если хотите смотрите сами.
В заключении хотелось бы сказать: не забывайте использовать модули для управления мета-тегами, заголовкам, генератор Sitemap ( карта сайта для гугля).
Я использую следующие SEO модули/плагины в CMS WordPress:
Google XML Sitemaps – для генерации карты гугла, All in One SEO Pack – манипуляция с метатегами, заголовками – их автозаполнение.
Мои SEO модули в CMS Drupal:
Google Sitemap для генерации карты гугла, Meta tags – манипуляция с метатегами, Pathauto – манипуляции с человеко-понятными адресами (урлами), Page Title – манипуляция с заголовками, Related Links – для формирование списка связных документов, Path Redirect – граммотный редирект пользователей с устаревших урлов на новые, gotwo - скрывает внешние сылки внутренними редиректами, Global Redirect – автоматически избавляет от дублированных материалов полученных в результате создания альясов (синонимов) путем правильного редиректа (HTTP 301).
2 Responses to “Продвижение и оптимизация сайта. Инструменты в CMS WordPress и CMS Drupal”
Sorry, the comment form is closed at this time.
А зачем делать задержку в Обращении? Какой в этом плюс?
Задержка в обращении нужна чтобы поисковый бот ваш сервер не уложил. Если страниц на вашем сервере тысячи, то теоретически бот может открыть все тысячи ваш страниц почти одновременно. Хотя например сотрудники Яндекса говорят о том, что у них по умолчанию задержка равна 1-2 секундам.