Робот тхт для сайта. Как заполнить. Где скачать.

Недавно нашел способ быстро и без лишних усилий создать робот тхт для своего сайта. Все достаточно просто. Даже если под рукой нет компьютера, вы легко сможете сгенерировать нужный файл с помощью смартфона. Нужно быть внимательным при заполнении разделов файла робот тхт и указывать корректную информацию.

Как сгенерировать файл робот тхт

Заходите на сайт «iksweb» переходите в инструменты и находите «Создание Robots.txt», заполняете эти параметры:

• Адрес домена:
• Запретить индексировать:
• Разрешить индексировать:
• URL адрес Sitemap.xml:

Далее указываете разрешения для поисковых роботов или убираете ненужные поисковики, затем выбираете стандартные настройки для вашей CMS или без них. При необходимости вы можете скопировать код для вставки на сайт. Внизу видим кнопку «Экспорт» и скачиваем готовый файл.

Как загрузить файл робот на сайт

Для того, чтобы файл исправно функционировал, его нужно разместить в корневом каталоге сайта. Мой хостинг провайдер предоставляет услугу доступа к файлам через онлайн FTP клиент. Вы видите список файлов на хостинге, заходите в нужный вам каталог (тот для которого мы генерировали robot.txt) и загружаете туда скачанный только что файл. Теперь все работает как надо и поисковые системы корректно индексируют ваш сайт.

Где скачать robot.txt

• Free Robots.txt Generator sureoak.cоm
• Создать правильный robots.txt онлайн. seоlib.ru
• robots.txt generator internetmarketingninjas.cоm

Робот тхт для моего сайта

User-agent: *
Allow: /

#Robots WordPress
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
#WordPress end

Sitemap: https://biz-as.ru/sitemap.xml%40mail.ru
Host: https://biz-as.ru

Этот файл я сгенерировал при помощи вышеописанного сервиса.