#11-Robots.txt: что следует включить?. Правка

Первый пост в разделе "Практические примеры"

Изменения в Google Lighthouse

Идентификатор ссылки (англ.)	pervyy-post-v-razdele-prakticheskie-primery
Статус:	Активен

Описание

Идентификатор ссылки (англ.)	izmeneniya-v-google-lighthouse
Статус:	Архив

Описание

'#8. Посты : posts';

'Blog_PostController_actionUpdate_';

'#blog_post_update';

Robots.txt: что следует включить?. Правка

Архив

Почистить кэш постов Экспресс-правка Разметка ред. Summernote ред. Quill ред. CKEditor ред. Trumbowyg ред. Imperavi ред. Jodit

Общая информация

Сменить блог

Название

Рейтинг SEO (от 1 до 100)

Всего знаков в посте: 9484

id (статус)	121 (2)
Идентификатор ссылки (англ.)	robotstxt-chto-sleduet-vklyuchit
Сайт (ID сайта)	. #3
Смотреть на сайте	https://panel25.seowebdev.ru/posts/sayty/robotstxt-chto-sleduet-vklyuchit/
Время последнего обновления	05-09-2025 в 08:55:23
Ссылка в БД	https://shopnseo.ru/posts/sayty/robotstxt-chto-sleduet-vklyuchit/

Текст поста

Ключевое слово отсутствует

Полный текст < > & " ' « » – — … • · ← → ↑ ↓ ↔

Валюты: € £ ¥ ¢

Типографика: § ¶ ° ± × ÷

Дроби: ½ ⅓ ⅔ ¼ ¾ ⅛ ⅜ ⅝ ⅞

Греческие: α β γ δ ε λ μ π σ ω Δ Σ Ω

Математические: ≈ ≠ ≤ ≥ ∞ √ ∑ ∫ ∂ ∇

<div class="row">
<div class="col-md-12">
<p class="lead">Скромный файл robots.txt часто незаметно находится на заднем плане сайта WordPress, но его настройки по умолчанию довольно просты и не способствуют индивидуальным директивам, которые вы, возможно, захотите применить.</p>
<h2 class="mt-4">Где находится файл WordPress Robots.txt?</h2>
<p>По умолчанию WordPress генерирует виртуальный файл robots.txt. Вы можете увидеть его, посетив <code>/robots.txt</code> вашей установки:</p>
<div class="alert alert-info">
<p class="mb-0">https://yoursite.com/robots.txt</p>
</div>
<p>Этот файл по умолчанию существует только в памяти и не представлен физическим файлом на вашем сервере.</p>
<p>Если вы хотите использовать пользовательский файл robots.txt, просто загрузите его в корневую папку установки. Это можно сделать либо с помощью FTP-приложения, либо плагина, например Yoast SEO (<strong>SEO &rarr; Инструменты &rarr; Редактор файлов</strong>).</p>
<h2 class="mt-4">Стандартный файл WordPress Robots.txt (и почему его недостаточно)</h2>
<p>Если вы не создаете файл robots.txt вручную, вывод WordPress по умолчанию будет выглядеть следующим образом:</p>
<pre class="bg-light p-3"><code>User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php</code></pre>
<p>Хоть это и безопасно, но не оптимально. Давайте рассмотрим улучшения.</p>
<h3 class="mt-4">Всегда включайте XML-карты сайта</h3>
<p>Убедитесь, что все XML-карты сайта указаны явно, так как это помогает поисковым системам обнаруживать все релевантные URL-адреса:</p>
<pre class="bg-light p-3"><code>Sitemap: https://example.com/sitemap_index.xml
Sitemap: https://example.com/sitemap2.xml</code></pre>
<h3 class="mt-4">Что не следует блокировать</h3>
<p>Существуют устаревшие рекомендации запрещать некоторые основные каталоги WordPress, такие как <code>/wp-includes/</code>, <code>/wp-content/plugins/</code> или даже <code>/wp-content/uploads/</code>. Не делайте этого!</p>
<div class="card mb-4 border-warning">
<div class="card-header">Почему их не следует блокировать:</div>
<div class="card-body">
<ul>
<li>Google достаточно умен, чтобы игнорировать нерелевантные файлы</li>
<li>Блокировка CSS и JavaScript может ухудшить рендеринг и вызвать проблемы с индексацией</li>
<li>Вы можете непреднамеренно заблокировать ценные медиафайлы в <code>/wp-content/uploads/</code>, которые должны быть доступны для сканирования</li>
</ul>
</div>
</div>
<p>Вместо этого позвольте поисковым роботам извлекать CSS, JavaScript и изображения, необходимые для правильного отображения.</p>
<h3 class="mt-4">Управление промежуточными сайтами</h3>
<p>Рекомендуется убедиться, что промежуточные (тестовые) сайты не сканируются ни в целях SEO, ни в целях общей безопасности. Лучше полностью запретить сканирование таких сайтов.</p>
<p>Используйте метатег noindex, но для дополнительной защиты рекомендуется применить оба варианта. В WordPress перейдите в <strong>Настройки &gt; Чтение</strong> и отметьте опцию &laquo;Запретить поисковым системам индексировать этот сайт&raquo;, или добавьте следующее в robots.txt:</p>
<pre class="bg-light p-3"><code>User-agent: *
Disallow: /</code></pre>
<div class="alert alert-warning"><strong>Важно:</strong> при переходе к боевой версии сайта обязательно проверьте этот параметр, чтобы убедиться, что вы отменили все запреты индексации.</div>
<h3 class="mt-4">Очистка необязательных путей WordPress</h3>
<p>Многие пути по умолчанию не добавляют никакой ценности для SEO:</p>
<pre class="bg-light p-3"><code>Disallow: /trackback/
Disallow: /comments/feed/
Disallow: */embed/
Disallow: /cgi-bin/
Disallow: /wp-login.php</code></pre>
<h3 class="mt-4">Запрет определенных параметров запроса</h3>
<p>Иногда полезно запретить поисковым системам сканировать URL-адреса с параметрами запроса с низкой ценностью:</p>
<pre class="bg-light p-3"><code>User-agent: *
Disallow: /*?*replytocom=
Disallow: /*?*print=</code></pre>
<p>Используйте инструмент &laquo;Параметры URL&raquo; в Google Search Console для мониторинга шаблонов индексации на основе параметров.</p>
<h3 class="mt-4">Запрет таксономий и SERP с низкой ценностью</h3>
<p>Если на вашем сайте WordPress есть архивы тегов или внутренние страницы результатов поиска, вы можете их заблокировать:</p>
<pre class="bg-light p-3"><code>User-agent: *
Disallow: /tag/
Disallow: /page/
Disallow: /?s=</code></pre>
<p>Учитывайте вашу контент-стратегию. Если страницы таксономий тегов являются частью контента, который вы хотите индексировать, то игнорируйте эти запреты.</p>
<p>Убедитесь, что внутренняя структура ссылок поддерживает ваше решение и сводит к минимуму внутренние ссылки на разделы, которые вы не собираетесь индексировать.</p>
<h2 class="mt-4">Мониторинг статистики сканирования</h2>
<p>После настройки файла robots.txt отслеживайте статистику сканирования с помощью Google Search Console:</p>
<div class="card mb-4">
<div class="card-body">
<ol>
<li>Изучите статистику сканирования в разделе &laquo;Настройки&raquo;, чтобы узнать, не тратят ли боты ресурсы впустую</li>
<li>Используйте инструмент проверки URL-адресов, чтобы проверить, проиндексирован ли заблокированный URL-адрес</li>
<li>Проверьте файлы Sitemap и убедитесь, что они ссылаются только на те страницы, которые должны сканироваться и индексироваться</li>
</ol>
</div>
</div>
<p>Некоторые инструменты управления сервером, такие как Plesk, cPanel и Cloudflare, могут предоставлять подробную статистику сканирования, выходящую за рамки Google.</p>
<p>Используйте переопределение конфигурации Screaming Frog для имитации изменений и обратите внимание на функции оптимизации сканирования Yoast SEO, некоторые из которых решают вышеуказанные проблемы.</p>
<h2 class="mt-4">Заключение</h2>
<p>Хотя WordPress &ndash; отличная CMS, в ней не предусмотрен идеальный файл robots.txt по умолчанию и отсутствует оптимизация сканирования из коробки.</p>
<div class="alert alert-success">
<p class="mb-0">Всего несколько строк кода и менее 30 минут вашего времени могут избавить вас от тысяч ненужных запросов на сканирование, а также предотвратить потенциальные проблемы масштабирования в будущем.</p>
</div>
</div>
</div>

Скопировано в буфер!

Вставлено из буфера!

Robots.txt: что следует включить?. Правка

Дополнительные символы