Поиск

Опечатка?

Выделите текст и нажмите Shift+Enter.
И мы в ближайшее время ее исправим!

Случайные статьи

Получить деньги из Сети

Получить деньги из Сети

В наше время интернет является всеобъемлющим. Мы общаемся с его...

Последние статьи

Пластиковые окна

Реклама пластиковых окон уже, наверное, всем до смерти надоела. Обычно все рекламируют собственные пластиковые окна, но мало...

Рассылка электронных писем

Для всех, кто ведет бизнес в Мировой Сети, жизненно важным условием процветания является привлечение клиентов на свой...

Облачные технологии

Довольно часто за последние годы в Мировой Сети можно встретить упоминание так называемых «облачных технологий».

Игровые автоматы – самые демократичные устройства на земле

Об Игре, в глобальном ее понимании, можно разговаривать часами. Это почти философское понятие, ранее обитающее среди смокингов,...

Как купить билет и забронировать отель через интернет

Хорошо это или нет, но старые времена, не знающие интернета, с их стоянием в очередях билетных касс,...

Компьютерный кабель: скарт, тюльпан, HDMI и другие

Компьютер не может существовать обособленно, отдельно от других устройств. Принтеры, сканеры, колонки, плейеры/рекордеры, камеры, фотоаппараты и еще...

Директивы robots, создание и проверка служебного файла

Директивы robots, создание и проверка служебного файлаКогда говорить коротко, то файл дает распоряжения роботам ПС про то, какие именно страницы необходимо проиндексировать, а какие нет. Указания, распоряжения, команды - это директивы.


При помощи директив вы зададите основное зеркало вебсайта (с www или нет), закроете от индексации ПС технические файлы, пропишет путь к sitemap. Вот зачем необходим robots.


Создать файл довольно просто - в любом редакторе, к примеру, в блокноте. После этого поместите его в корень вебсайта и роботы поисковиков сами обнаружат файл и выполнят прописанные там инструкции.


Главные директивы robots
Ими считаются User-agent и Disallow. Директива User-agent прописывает, какому боту адресована инструкция. К примеру, User-agent: googlebot значит, что все, что написано ниже, адресовано боту поисковой машины Google. Disallow: / полностью запретит для индексации весь вебсайт.


Ее можно прописать, когда вы просто готовите свой вебсайт к выходу. Каждая команда пишется в отдельной строчке. Директивы могут противоречить одна другой. Например, вы запретили для индексации весь вебсайт. Если вы запретили к индексирования страницы Disallow: /все_страницы/, но разрешили индексацию страниц страницы 32 Allow:/страница_32/. Она будет проиндексирована.


Некоторые дополнительные директивы
Директива Host избавит поисковую выдачу поисковиков от зеркал проекта. К примеру, вебсайт с www и без www могут сразу присутствовать в поисковой выдаче, однако это абсолютно не логично. Это еще создает проблемы. Выбирайте главное зеркало и напишите команду Host. В большинстве случаев применяется зеркало без www. Только оно будет находиться в поисковой выдаче.


Директива Карта сайта указывает путь к карте проекта. Когда вы сгенерировали sitemap, настроили ее при помощи специализированного плагина, то новая статья будет добавлена на sitemap. Роботы ПС, заходя на вебсайт, одним из первых заходят на файл сайтмапа.


Директива Visit-time указывает интервал времени, когда роботу можно загружать страницы. Время требуется выставлять по Гринвичу.


Директива Crawl-delay указывает паузы между скачкой страниц проекта поисковым ботом. Это очень важно, когда на вебсайте много страниц.


Директива Request-rate указывает периодичность загрузки вебсайта ботами ПС.


Проверка robots
К чему может привести не совсем правильная настройка robots.txt для joomla? Прежде всего, может появиться проблема дублирования контента. Также может быть доступной конфиденциальная информация о посетителях. Или могут выпасть из индекса необходимые страницы.


Как проверить robots в Яндекс.Вебмастере? Там есть специализированный сервис, что носит название анализ robots. Чтобы видеть ошибки, можно вписать в поле имя домена - вы можете получить информацию о robots и об ошибках, которые вы сейчас можете исправить.

 
Главная Страница Контактная Информация Поиск по сайту Контактная Информация Поиск по сайту