Как настроить файл WordPress Robots.txt для SEO

  1. Понимание файла Robots.txt
  2. Настроить файл WordPress Robots.txt
  3. Как создать файл Robots.txt
  4. Расширенный robots.txt для WordPress
  5. Что включить в мой файл WordPress robots.txt?
  6. Часто задаваемые вопросы
  7. Мустасам Салим
  8. Начните расти вместе с Cloudways уже сегодня!

Время чтения: 5 минут

Просто создание сайта недостаточно. Получение списка в поисковых системах является основной целью всех владельцев веб-сайтов, чтобы веб-сайт становился видимым в поисковой выдаче для определенных ключевых слов. Этот список веб-сайта и видимость самого свежего контента в основном связаны с поисковыми роботами, которые сканируют и индексируют сайты. Веб-мастера могли контролировать способ, которым эти роботы анализируют сайты, вставляя инструкции в специальный файл с именем robots.txt.

Сегодня вы узнаете, как легко настроить файл WordPress robots.txt для лучшего SEO. Несколько страниц веб-сайта WordPress не должны быть проиндексированы поисковыми системами.

Понимание файла Robots.txt

Каждый веб-сайт имеет файл « robots.txt », который сообщает поисковым системам, какие страницы индексировать. Этот файл обычно находится в корневом каталоге веб-сайта. Если нет, вы можете легко создать его.

Если нет, вы можете легко создать его

Источник: Elliance, Inc.

Настроить файл WordPress Robots.txt

Обычно для сайтов WordPress вам не нужно добавлять файл robots.txt. По умолчанию поисковые системы индексируют все сайты WordPress. Однако для лучшего SEO вы можете добавить файл robots.txt в свой корневой каталог, чтобы запретить поисковым системам доступ к определенным областям вашего сайта WordPress.

Как создать файл Robots.txt

Авторизоваться на ваш хостинг Dashboard. В нашем примере я буду использовать Cloudways - высокопроизводительное управляемое облако Платформа хостинга WordPress ,

Перейдите на вкладку « Серверы » слева вверху и войдите в свой сервер. Вы найдете ваши данные FTP там.

Вы найдете ваши данные FTP там

Откройте приложение FTP-сервера для доступа к файлам WordPress. Я буду использовать « FileZilla» . Запустите его и подключитесь к серверу, используя « MASTER CREDENTIALS ».

Запустите его и подключитесь к серверу, используя « MASTER CREDENTIALS »

После подключения перейдите в папку « Приложения ». Вы увидите несколько папок здесь. Не запутайся. Вернитесь на платформу Cloudways и в верхней левой панели перейдите в Приложения .

Выберите приложение, для которого вы хотите добавить файл robots.txt:

На левой панели перейдите в Настройки приложения . Вы найдете имя папки вашего приложения.

Вернитесь в FileZilla и перейдите в « / Applications / [ИМЯ ПАПКИ] / public_html. Создайте новый текстовый файл здесь. Назовите его « robots.txt »

Откройте файл WordPress robots.txt в любом текстовом редакторе (это удобная опция «Блокнот»).

Расширенный robots.txt для WordPress

Такие поисковые системы, как Google и Bing, поддерживают использование подстановочных знаков в файле robots.txt. Эти подстановочные знаки могут использоваться для разрешения / запрета определенных типов файлов на веб-сайте WordPress.

Звездочка (*) может использоваться для обработки последовательности.

Пользователь-агент: * Disallow: /images/image*.jpg

Здесь * означает, что все изображения, начинающиеся с « image » и с расширением « jpg », не будут проиндексированы поисковыми системами.

Пример: image1.jpg, image2.jpg, imagexyz.jpg не будет проиндексирован поисковыми системами.

Сила * не ограничивается только изображениями. Вы даже можете запретить все файлы с определенным расширением.

Пользовательский агент: * Disallow: /downloads/*.pdf Disallow: /downloads/*.png

Вышеприведенные утверждения попросят все поисковые системы запретить все файлы с расширениями «pdf» и «png», найденные в папке загрузок.

Вы даже можете запретить основные каталоги WordPress, используя *.

Пользователь-агент: * Disallow: / wp - * /

Приведенная выше строка просит поисковые системы не сканировать каталоги, начинающиеся с « wp- ».

Пример: wp-include, wp-content и т. Д. Не будут проиндексированы поисковыми системами.

Другим подстановочным знаком, используемым в файле WordPress robots.txt, является символ доллара ($).

Пользовательский агент: * Disallow: referral.php

Вышеупомянутое утверждение попросит поисковые системы не индексировать referral.php, а также referral.php? Id = 123 и так далее.

Но что, если вы хотите заблокировать только referral.php ? Вам нужно только включить символ $ сразу после referral.php.

Символ $ гарантирует, что заблокирован только referral.php, но не referral.php? Id = 123.

Пользовательский агент: * Disallow: referral.php $

Вы также можете использовать $ для каталогов.

Агент пользователя: * Disallow: / wp-content /

Это даст указание поисковым системам запрещать папку wp-content плюс все каталоги, которые находятся внутри wp-content. Если вы хотите запретить только wp-контент, а не все подпапки, вам следует использовать символ $. Например:

Пользовательский агент: * Disallow: / wp-content / $

Символ $ гарантирует, что только wp-контент запрещен. Все каталоги в этой папке все еще доступны.

Ниже приведен файл robots.txt для блога Cloudways.

User-agent: * Disallow: / admin / Disallow: / admin / *? * Disallow: / admin / *? Disallow: / blog / *? * Disallow: / blog / *?

Первая строка указывает на User-agent. Это относится к поисковой системе, которой разрешен доступ и индексирование веб-сайта. Полный список всех поисковых роботов доступен Вот ,

Пользователь-агент: *

Где * означает все поисковые системы. Вы можете указать каждую поисковую систему отдельно.

Disallow: / admin / Disallow: / admin / *? * Disallow: / admin / *?

Это не позволит поисковым системам сканировать каталог « admin ». Часто поисковым системам не обязательно индексировать эти каталоги.

Disallow: / blog / *? * Disallow: / blog / *?

Если ваш сайт WordPress является сайтом блогов, лучше всего ограничивать роботов поисковых систем, чтобы они не сканировали ваши поисковые запросы.

Если на вашем сайте есть карта сайта. Добавление его URL помогает поисковым роботам в поиске файла карты сайта. Это приводит к более быстрой индексации страниц.

карта сайта: http://www.yoursite.com/sitemap.xml

Что включить в мой файл WordPress robots.txt?

Вы сами решаете, какие части сайта WordPress вы хотите включить в SERP. У каждого свои взгляды на настройку файла WordPress robots.txt. Некоторые рекомендуют не добавлять файл robots.txt в WordPress. Хотя, на мой взгляд, нужно добавить и запретить / wp-admin / папку. Файл Robots.txt является общедоступным. Вы можете найти файл robots.txt любого веб-сайта, посетив www.example.com/robots.txt.

Мы закончили с файлом robots.txt в WordPress. Если у вас есть какие-либо вопросы о настройке файла robots.txt, не стесняйтесь спрашивать в разделе комментариев ниже.

Часто задаваемые вопросы

Q1. Что такое роботы TXT WordPress?
Robots.txt - это текстовый файл, расположенный в корне вашего сайта. Этот файл предназначен для того, чтобы запретить поисковым роботам индексировать определенные области вашего сайта. Файл robots.txt является одним из первых файлов, сканируемых пауками (роботами).

Q2. Почему Robots TXT файл используется?
Файл robots.txt содержит инструкции для роботов поисковых систем, которые анализируют ваш сайт. Это протокол исключения для роботов. Благодаря этому файлу вы можете запретить исследование и индексацию своего сайта для некоторых роботов (также называемых «сканерами» или «пауками»).

Мустасам Салим

Мустасам - менеджер сообщества WordPress в Cloudways - A Управляемый хостинг WordPress Платформа, где он активно работает и любит делиться своими знаниями с сообществом WordPress. Когда он не работает, вы можете найти его играющим в сквош со своими друзьями или защищающимся в футболе и слушающим музыку. Вы можете отправить ему электронное письмо по адресу mustaasam.saleem@cloudways.com

Начните расти вместе с Cloudways уже сегодня!

Мы никогда не идем на компромисс в отношении производительности, безопасности и поддержки.

Похожие

SEO
... robots-control"> управление роботами , Вне сайта SEO , Включает в себя множество модулей о создание ссылок , веб-каталоги , социальное взаимодействие , блоггинг
Определение SEO
... как местный бизнес использует только традиционный PR и креативность для получить общенациональное внимание, упоминания и освещение В моем определении «SEO» выше я объяснил, как цель функции - отображаться в результатах поиска. Все остальное, в том числе повышение рейтинга в результатах поиска, является лишь функцией (цифрового) маркетинга. «SEO» является подмножеством «цифрового маркетинга»
SEO Гарантия
Samyak Online приобрел обширный опыт SEO, выполняя много проектов SEO за эти годы. Мы добились успеха в предоставлении результатов SEO и занимаем лидирующие позиции в SEO компании в Индии. Мы гарантируем, что мы посвятим наши знания и ресурсы для оптимизации и повышения эффективности SEO вашего сайта, применяя этические методы SEO. Наш гарантированный SEO сервис демонстрируется нашим опытом и уверенностью в нашей способности
Мемфис SEO
Готовы работать с экспертом в Мемфисе SEO? Сделайте свой бизнес веб-сайт выделиться в крупных городах США Получите отзывчивый сайт с высоким трафиком, вознагражденный Google Найдите в Интернете то, что вы делаете, увеличьте свою экспозицию Развивайте свой бренд и
Сакраменто SEO
Joomla 1.5 SEO
... robots.txt для управления роботами поисковых систем. Глава 3 - Улучшение SEO в Joomla с помощью Joomlatwork SEF Patch. В этой главе нас учат использовать это расширение для улучшения метаданных страниц и управления тем, как поисковые системы индексируют страницы. Глава 4 - Как писать статьи, богатые ключевыми словами. Глава 5 - Блоги и RSS-каналы. Узнайте, как настроить Joomla для
Typo3 SEO
... как можно скорее с дальнейшей процедурой и расходами. Поскольку эти услуги предназначены для трейдеров, все цены, указанные здесь, являются ценами нетто плюс установленный налог на добавленную стоимость в размере 19%. Цены и предложения действительны только для клиентов,
Мой лучший SEO плагин WordPress для использования длинного хвоста.
... wordpress/"> Лучшие плагины для WordPress по инициативе Седрика Виме из блога Virtuose Marketing. Поэтому я расскажу вам о расширении SEO, которое, на мой взгляд, является лучшим плагином в WordPress для автоматического использования длинного хвоста. Я нашел это с помощью поиска в Интернете. Это позволило мне увеличить мой трафик. Как и вы, я искал больше трафика в своем
[Инфографика] Как подписи улучшают SEO
22 мая 2017 года СОФИЯ ЭНАМОРАДО Обновлено: 24 января 2019 г. В последние годы количество устройств с экранами возросло, что соответствует массовому потреблению видео. К 2019 году видео будет составлять 80% всего потребительского интернет-трафика. Видео есть везде, и оно будет только распространяться на наших экранах.
Как начать карьеру в SEO
Я помню, как окончил бакалавриат с приличной степенью в области финансов, готовый завоевать мир. Я предполагал, что у меня есть золотой билет на удобную, высокооплачиваемую работу. Мечты о том, чтобы стать следующим Волком с Уолл-стрит, танцевали в моей голове. Тогда реальность ударила. Я подал
Seo Agency Как открыть один
Иметь и открыть SEO агентство сегодня это работа не для всех. У тебя должна быть печень! Например, есть те клиенты, которые пытаются всеми силами помочь вам консультация без того желая вывести даже копейки. Тогда есть те клиенты, для тех, у кого есть агентство поисковая оптимизация

Комментарии

Вы, наверное, знаете, что такое SEO и как оно может помочь вашему бизнесу стать более успешным, но знаете ли вы, как создать эффективную кампанию по поисковой оптимизации?
Вы, наверное, знаете, что такое SEO и как оно может помочь вашему бизнесу стать более успешным, но знаете ли вы, как создать эффективную кампанию по поисковой оптимизации? Создание эффективной стратегии - вот где большинство вопросов вступают в игру, поэтому воспользуйтесь этими пятью советами, чтобы помочь составить план SEO, дающий результаты.
Как часто мы слышим, что «SEO мертв»?
Как часто мы слышим, что «SEO мертв»? Кажется, что после каждой серьезной встряски алгоритма сотни «SEO мертвых» статей поднимают свои уродливые головы. Но правда в том, что SEO не мертва, и в ближайшее время никуда не денется. SEO - это постоянно развивающийся зверь, которого за последние пару лет ИИ и алгоритмы машинного обучения, такие как RankBrain, радикально трансформировались (и будут продолжать). Итак, что это значит? Если вы хотите продолжать продвигать свою
Что такое перенаправление WordPress и как оно влияет на SEO?
Что такое перенаправление WordPress и как оно влияет на SEO? Проще говоря, перенаправление WordPress позволяет переносить посетителей с первоначально запрошенного URL-адреса на альтернативный. Владельцы сайта обычно настраивают перенаправления по следующим причинам: Некоторые веб-страницы больше не активны - посетители, которые добавили вашу веб-страницу в закладки для дальнейшего чтения, могут разочароваться, если она не открывается или выдает ошибку.
Как создать инфографику и как получить на нее обратные ссылки?
Как создать инфографику и как получить на нее обратные ссылки? 1. Хорошо изучите свою инфографическую идею: Что наиболее важно при создании инфографики - тема или предмет, на котором она основана. В приведенном выше примере 13 причин, по которым ваш мозг жаждет инфографики , эта тема нашла правильный отклик, потому что инфографика всегда является наиболее потребляемым форматом информации. И эта часть предоставила советы, подкрепленные исследованиями, объясняющими
Итак, каковы последствия расширения SEO и как вы гарантируете, что ваш сайт оптимизирован для поддержки ваших глобальных устремлений?
Итак, каковы последствия расширения SEO и как вы гарантируете, что ваш сайт оптимизирован для поддержки ваших глобальных устремлений? В целом, при создании или перепроектировании вашего веб-сайта необходимо учитывать два типа таргетинга: География: На какую страну вы ориентируетесь? Язык: на какой язык вы ориентируетесь? Поэтому, какую бы структуру вы ни выбрали, важно помнить, что ваш веб-сайт должен быть масштабируемым и соответствовать вашим
Что такое SEO и как оно работает?
Что такое SEO и как оно работает? Поисковая оптимизация, лучше известная по инициалам SEO Включает в себя методы, которые выполняются для того, чтобы определенная веб-страница появлялась на верхних позициях в поисковых системах, выделяя другие. Веб-позиционирование, достигаемое с помощью этих методов, является бесплатным, то есть не оплачивается за включение в список результатов поисковой системы. Услуги SEO ориентированы на достижение
Что я имею в виду, и как это влияет на поисковую оптимизацию (SEO)?
Что я имею в виду, и как это влияет на поисковую оптимизацию (SEO)? Фунт Мудрый Маркетинг Встать перед лицами, принимающими решения, и их авторитетами сложно. Вот почему каждый год компании, которые продают дорогие товары, с энтузиазмом тратят большие суммы денег на покупку списков рассылки, спонсорство вебинаров и распространение пресс-релизов. Они выставляются на конференциях, где раздают профессионально разработанные и печатные брошюры. Они создают сайты, наполненные
Как вы думаете, что является нормальным откликом или откликом сегодня на рекламу и маркетинг по электронной почте?
Как вы думаете, что является нормальным откликом или откликом сегодня на рекламу и маркетинг по электронной почте? За исключением случаев, когда у вас есть супер-отзывчивый и активный контрольный список, вы увидите только 4% 25 - 9% 25 комиссионных за открытие в течение первых 24-48 часов после того, как вы нажмете кнопку доставки. Сотовый диск или текстовые сообщения замечены и открыты 97% двадцать пять раз внутри, чтобы начать с 4 минут. Теперь это впечатляет! Просто представьте, что у вас
Но как вы можете улучшить свою SEO игру, не делая это очевидным для своих читателей - или не получив наказание от Google?
Но как вы можете улучшить свою SEO игру, не делая это очевидным для своих читателей - или не получив наказание от Google? Читай дальше что бы узнать. 1. Начните с идеального тега заголовка Надежная SEO-стратегия на странице начинается с выбора наиболее эффективных тегов заголовка для вашего контента. Это означает, что для каждой конкретной внутренней страницы вашего сайта - будь то статический контент или уникальный пост в блоге - вам необходимо
Так как же определить разницу между тем, что подходит для мобильных устройств, а что нет?
Так как же определить разницу между тем, что подходит для мобильных устройств, а что нет? Часть, в которой вы хотите занять высокое место в Google, осталась прежней, но теперь есть еще несколько хитростей. До сих пор ни одно обновление не смогло превратить SEO в ракетостроение, и доказательство приведено ниже. В качестве демонстрации доблестных командных усилий мы в WebCEO создали эту инфографику, иллюстрирующую наиболее важные факторы мобильного рейтинга в 2017 году. Полюбуйтесь
Но понимаете ли вы, как внедрить SEO и сделать свой магазин Etsy выдающимся в поиске, как во внутренней поисковой системе Etsy, так и в Google, Yahoo и Bing?
Но понимаете ли вы, как внедрить SEO и сделать свой магазин Etsy выдающимся в поиске, как во внутренней поисковой системе Etsy, так и в Google, Yahoo и Bing? Мир SEO может быть обширным и сложным, и он постоянно меняется. К счастью для вас, поисковые системы все больше заботятся об актуальности и удобстве пользователей. Речь идет не о том, чтобы победить систему или что-то вроде хитрости, известной лишь немногим избранным. В наши дни SEO помогает вашим потенциальным

Txt?
Php?
Php?
User-agent: * Disallow: / admin / Disallow: / admin / *?
Disallow: / admin / *?
Disallow: / blog / *?
Disallow: / blog / *?
Disallow: / admin / *?
Disallow: / blog / *?
Disallow: / blog / *?