Коротко о важном. ROBOTS.TXT: WWW или его отсутствие в название сайта

ROBOTS.TXT: WWW или его отсутствие в название сайтаСегодняшний пост будет довольно короткий, но при этом довольно таки важный. Коснется он как веб-строительства и так SEO составляющей ваших блогов или сайтов.

А именно файла robots.txt. Подробно прочитать о нем, можно в статье robots.txt создание и настройка.

Это специальный файл, в который заглядывают интернет роботы, что бы понять как им вести себя на вашем сайте.

Пример: Google и Яндекс. Страницы ведь в поиск добавляют не люди, а их поисковые роботы.

И этот файл подскажет им на что следует обратить внимание, а что нужно пропустить.

А теперь собственно короткая важность

Все вы знаете, а может и не все. Что www.vashsayt.ru и vashsayt.ru разные сайты с точки зрения роботов. Все кто интересовался SEO, думаю, знают об этом.

По этому, что бы не распылять усилия следует определиться, какое вам больше нравится название вашего сайта и сказать об этом интернет роботам.

Как это сделать

Открывает ваш файл robots.txt стоит заметить, он не создается сам, его нужно создать самому. Это обычный текстовый файл.

И после:

1
2
3
User-agent: *
Disallow:
Allow:

Нужно добавить: «Host: нужный вид имени»

Пример: для www.vashsayt.ru

1
2
3
4
User-agent: *
Disallow:
Allow:
Host: www.vashsayt.ru

Пример: для vashsayt.ru

1
2
3
4
User-agent: *
Disallow:
Allow:
Host: vashsayt.ru

На этом все. Удачи!!!

С уважением Тригуба Сергей.

P.S. Да кстати. Интересна ли вам тема создания файла robots.txt стоит ли осветить ее более подробно?

Автор:
Приглашаю присоединиться ко мне в следующих сервисах:
Получайте новые статьи по созданию сайтов на ваш почтовый ящик.

Комментарии Вконтакте:

Комментарии Facebook:

Комментариев12 комментариев

Осветите тему про robots.txt поподробнее.

Наверное создание. В одном месте написано так, у вас например надо Host: писать

Подскажите как установить robots.txt на сайт на хостинге timeweb

    Создаете текстовый файл с именем robots. Вписываете туда все нужные вам директивы.

    И ложите в корень вашего сайта, то есть в папку в которой будут лежать основные файлы вашего сайта.

Спасибо за ответ.Я все это понимаю. Я захожу на свой хостинг в файловый менеджер и открываю папку public_html. Какую опцию из трех надо использовать для закачки файла с именем robotsЬ: Правка или Архиватор или Навигация. Заранее спасибо. Анатолий

Здравствуйте!Что обозначает Crawl-delay: 4 в robots.txt

    Директива Crawl-delay

    Якщо сервер сильно навантажений і не встигає відпрацьовувати запити на завантаження, скористайтеся директивою «Crawl-delay». Вона дозволяє задати пошуковому роботу мінімальний період часу (в секундах) між кінцем завантаження однієї сторінки та початком завантаження наступної. З метою сумісності з роботами, які не повністю дотримуються стандарту під час обробки robots.txt, директиву «Crawl-delay» необхідно додавати у групі, що розпочинається із запису «User-Agent», безпосередньо після директив «Disallow» («Allow»).

    Пошуковий робот Яндекса підтримує дробові значення Crawl-Delay, наприклад, 0.5. Це не гарантує, що пошуковий робот заходитиме на ваш сайт кожні півсекунди, але дає роботу більше свободи та дозволяє прискорити обхід сайту.

    Из помощи Яндекса. Одним словом если ваш хостер не успевает давать ответы, то эта фишка позволит роботу проиндексировать больше страниц не смотря на это.

Написать ответ

Получай обновления блога первым!
Каталог@Mail.ru - каталог ресурсов интернет