Как настроить файл WordPress Robots.txt для SEO

  1. Понимание файла Robots.txt
  2. Настроить файл WordPress Robots.txt
  3. Как создать файл Robots.txt
  4. Расширенный robots.txt для WordPress
  5. Что включить в мой файл WordPress robots.txt?
  6. Часто задаваемые вопросы
  7. Мустасам Салим
  8. Начните расти вместе с Cloudways уже сегодня!

Время чтения: 5 минут

Просто создание сайта недостаточно. Получение списка в поисковых системах является основной целью всех владельцев веб-сайтов, чтобы веб-сайт становился видимым в поисковой выдаче для определенных ключевых слов. Этот список веб-сайта и видимость самого свежего контента в основном связаны с поисковыми роботами, которые сканируют и индексируют сайты. Веб-мастера могли контролировать способ, которым эти роботы анализируют сайты, вставляя инструкции в специальный файл с именем robots.txt.

Сегодня вы узнаете, как легко настроить файл WordPress robots.txt для лучшего SEO. Несколько страниц веб-сайта WordPress не должны быть проиндексированы поисковыми системами.

Понимание файла Robots.txt

Каждый веб-сайт имеет файл « robots.txt », который сообщает поисковым системам, какие страницы индексировать. Этот файл обычно находится в корневом каталоге веб-сайта. Если нет, вы можете легко создать его.

Если нет, вы можете легко создать его

Источник: Elliance, Inc.

Настроить файл WordPress Robots.txt

Обычно для сайтов WordPress вам не нужно добавлять файл robots.txt. По умолчанию поисковые системы индексируют все сайты WordPress. Однако для лучшего SEO вы можете добавить файл robots.txt в свой корневой каталог, чтобы запретить поисковым системам доступ к определенным областям вашего сайта WordPress.

Как создать файл Robots.txt

Авторизоваться на ваш хостинг Dashboard. В нашем примере я буду использовать Cloudways - высокопроизводительное управляемое облако Платформа хостинга WordPress ,

Перейдите на вкладку « Серверы » слева вверху и войдите в свой сервер. Вы найдете ваши данные FTP там.

Вы найдете ваши данные FTP там

Откройте приложение FTP-сервера для доступа к файлам WordPress. Я буду использовать « FileZilla» . Запустите его и подключитесь к серверу, используя « MASTER CREDENTIALS ».

Запустите его и подключитесь к серверу, используя « MASTER CREDENTIALS »

После подключения перейдите в папку « Приложения ». Вы увидите несколько папок здесь. Не запутайся. Вернитесь на платформу Cloudways и в верхней левой панели перейдите в Приложения .

Выберите приложение, для которого вы хотите добавить файл robots.txt:

На левой панели перейдите в Настройки приложения . Вы найдете имя папки вашего приложения.

Вернитесь в FileZilla и перейдите в « / Applications / [ИМЯ ПАПКИ] / public_html. Создайте новый текстовый файл здесь. Назовите его « robots.txt »

Откройте файл WordPress robots.txt в любом текстовом редакторе (это удобная опция «Блокнот»).

Расширенный robots.txt для WordPress

Такие поисковые системы, как Google и Bing, поддерживают использование подстановочных знаков в файле robots.txt. Эти подстановочные знаки могут использоваться для разрешения / запрета определенных типов файлов на веб-сайте WordPress.

Звездочка (*) может использоваться для обработки последовательности.

Пользователь-агент: * Disallow: /images/image*.jpg

Здесь * означает, что все изображения, начинающиеся с « image » и с расширением « jpg », не будут проиндексированы поисковыми системами.

Пример: image1.jpg, image2.jpg, imagexyz.jpg не будет проиндексирован поисковыми системами.

Сила * не ограничивается только изображениями. Вы даже можете запретить все файлы с определенным расширением.

Пользовательский агент: * Disallow: /downloads/*.pdf Disallow: /downloads/*.png

Вышеприведенные утверждения попросят все поисковые системы запретить все файлы с расширениями «pdf» и «png», найденные в папке загрузок.

Вы даже можете запретить основные каталоги WordPress, используя *.

Пользователь-агент: * Disallow: / wp - * /

Приведенная выше строка просит поисковые системы не сканировать каталоги, начинающиеся с « wp- ».

Пример: wp-include, wp-content и т. Д. Не будут проиндексированы поисковыми системами.

Другим подстановочным знаком, используемым в файле WordPress robots.txt, является символ доллара ($).

Пользовательский агент: * Disallow: referral.php

Вышеупомянутое утверждение попросит поисковые системы не индексировать referral.php, а также referral.php? Id = 123 и так далее.

Но что, если вы хотите заблокировать только referral.php ? Вам нужно только включить символ $ сразу после referral.php.

Символ $ гарантирует, что заблокирован только referral.php, но не referral.php? Id = 123.

Пользовательский агент: * Disallow: referral.php $

Вы также можете использовать $ для каталогов.

Агент пользователя: * Disallow: / wp-content /

Это даст указание поисковым системам запрещать папку wp-content плюс все каталоги, которые находятся внутри wp-content. Если вы хотите запретить только wp-контент, а не все подпапки, вам следует использовать символ $. Например:

Пользовательский агент: * Disallow: / wp-content / $

Символ $ гарантирует, что только wp-контент запрещен. Все каталоги в этой папке все еще доступны.

Ниже приведен файл robots.txt для блога Cloudways.

User-agent: * Disallow: / admin / Disallow: / admin / *? * Disallow: / admin / *? Disallow: / blog / *? * Disallow: / blog / *?

Первая строка указывает на User-agent. Это относится к поисковой системе, которой разрешен доступ и индексирование веб-сайта. Полный список всех поисковых роботов доступен Вот ,

Пользователь-агент: *

Где * означает все поисковые системы. Вы можете указать каждую поисковую систему отдельно.

Disallow: / admin / Disallow: / admin / *? * Disallow: / admin / *?

Это не позволит поисковым системам сканировать каталог « admin ». Часто поисковым системам не обязательно индексировать эти каталоги.

Disallow: / blog / *? * Disallow: / blog / *?

Если ваш сайт WordPress является сайтом блогов, лучше всего ограничивать роботов поисковых систем, чтобы они не сканировали ваши поисковые запросы.

Если на вашем сайте есть карта сайта. Добавление его URL помогает поисковым роботам в поиске файла карты сайта. Это приводит к более быстрой индексации страниц.

карта сайта: http://www.yoursite.com/sitemap.xml

Что включить в мой файл WordPress robots.txt?

Вы сами решаете, какие части сайта WordPress вы хотите включить в SERP. У каждого свои взгляды на настройку файла WordPress robots.txt. Некоторые рекомендуют не добавлять файл robots.txt в WordPress. Хотя, на мой взгляд, нужно добавить и запретить / wp-admin / папку. Файл Robots.txt является общедоступным. Вы можете найти файл robots.txt любого веб-сайта, посетив www.example.com/robots.txt.

Мы закончили с файлом robots.txt в WordPress. Если у вас есть какие-либо вопросы о настройке файла robots.txt, не стесняйтесь спрашивать в разделе комментариев ниже.

Часто задаваемые вопросы

Q1. Что такое роботы TXT WordPress?
Robots.txt - это текстовый файл, расположенный в корне вашего сайта. Этот файл предназначен для того, чтобы запретить поисковым роботам индексировать определенные области вашего сайта. Файл robots.txt является одним из первых файлов, сканируемых пауками (роботами).

Q2. Почему Robots TXT файл используется?
Файл robots.txt содержит инструкции для роботов поисковых систем, которые анализируют ваш сайт. Это протокол исключения для роботов. Благодаря этому файлу вы можете запретить исследование и индексацию своего сайта для некоторых роботов (также называемых «сканерами» или «пауками»).

Мустасам Салим

Мустасам - менеджер сообщества WordPress в Cloudways - A Управляемый хостинг WordPress Платформа, где он активно работает и любит делиться своими знаниями с сообществом WordPress. Когда он не работает, вы можете найти его играющим в сквош со своими друзьями или защищающимся в футболе и слушающим музыку. Вы можете отправить ему электронное письмо по адресу [email protected]

Начните расти вместе с Cloudways уже сегодня!

Мы никогда не идем на компромисс в отношении производительности, безопасности и поддержки.

Txt?
Php?
Php?
User-agent: * Disallow: / admin / Disallow: / admin / *?
Disallow: / admin / *?
Disallow: / blog / *?
Disallow: / blog / *?
Disallow: / admin / *?
Disallow: / blog / *?
Disallow: / blog / *?