Консалтинг и аналитикаSEO инструменты и сервисы

Файл robots.txt для Вашего сайта

Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.

Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps.

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.

Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.

Создайте правильный robots.txt всего за пару минут

Эффективным способом создания robots.txt является онлайн генератор, предоставленный нашим сервисом. С его помощью можно быстро и качественно создать необходимый файл. Скачайте созданный robots.txt и загрузите в корневую директорию вашего сайта.

Генератор robots.txt





Разрешить этим роботам индексировать сайт:



robots.txt для Вашего сайта



Особенности robots.txt для Яндекс и Google

Для корректной индексации вашего сайта Яндексом, крайне желательно использовать директиву host. Это позволит избежать проблем с индексированием зеркала сайта и дублей его страниц.

Для Google, файл robots.txt ничем не существенно не отличается. Единственным ограничением, о которой Google сообщает веб-мастерам, это ограничение (500 Кб) на размер файла.

robots.txt для WordPress

Одной из особенностью CMS WordPress является то, что в ней создается много дублей страниц. Например, опубликованная Вами статья попадает сразу в несколько мест на сайте. Она попадает на страницу категорий, в поиск, анонсы на главной и т.д. Таким образом, создаются дубли страниц, что в конечном счете снижает значимость сайта в глазах поисковых роботов. Это легко исправить с помощью robots.txt.



© 2017 SEO-AUDITOR

Бесплатные SEO инструменты и сервисы для веб-мастеров, оптимизаторов и копирайтеров, администраторов сайтов, серверов и сисадминов — все для OnLine анализа, оптимизации, продвижения, разработки и мониторинга сайта.

Дизайн сайта “СириусВеб”

Следите за нами:
Читать @SEOAuditorRu в Twitter

Обратная связь

Мы будем рады ответить на любые ваши вопросы, просьбы и пожелания. Просто заполните форму, и наш представитель свяжется с вами в кратчайшие сроки.