#11-Googlebot доминирует в веб-краулинге в 2025 году. Правка

Google устранил месячную задержку в отчёте об индексировании

Google Search добавил ссылки «Read more» в сниппеты

Идентификатор ссылки (англ.)	google-fixed-month-long-delay-with-page-indexing-report
Время создания:	21-12-2025 в 23:29:46
Время обновления:	23-12-2025 в 13:09:01
Статус:	Активен

Описание

Идентификатор ссылки (англ.)	google-search-adds-read-more-links-to-search-result-snippets
Время создания:	24-12-2025 в 09:26:13
Время обновления:	24-12-2025 в 13:35:25
Статус:	Активен

Описание

'#15. Новости : news';

'Seo_NewsController_actionUpdate_';

'#seo_news_update_';

Googlebot доминирует в веб-краулинге в 2025 году. Правка

Активен

Почистить кэш новостей Экспресс-правка Разметка ред. Summernote ред. Quill ред. CKEditor ред. Trumbowyg ред. Imperavi ред. Jodit

Общая информация

Название

id (статус)	184 (3)
Идентификатор ссылки (англ.)	googlebot-dominates-web-crawling-in-2025-as-ai-bots-surge
Сайт (ID сайта)	. #3
Смотреть на сайте	https://panel25.seowebdev.ru/news/googlebot-dominates-web-crawling-in-2025-as-ai-bots-surge/
Время последнего обновления	23-12-2025 в 13:09:03
Ссылка в БД	https://shopnseo.ru/news/googlebot-dominates-web-crawling-in-2025-as-ai-bots-surge/
Картинка	https://static.shopnseo.ru/cache/15/184-googlebot-dominates-web-crawling-in-2025-as-ai-bots-surge_col-12.webp

Ссылка на чужой ресурс при необходимости. Не обязательно.

Картинка для новости с чужого ресурса при необходимости. Не обязательно.

Полный текст < > & " ' « » – — … • · ← → ↑ ↓ ↔

Валюты: € £ ¥ ¢

Типографика: § ¶ ° ± × ÷

Дроби: ½ ⅓ ⅔ ¼ ¾ ⅛ ⅜ ⅝ ⅞

Греческие: α β γ δ ε λ μ π σ ω Δ Σ Ω

Математические: ≈ ≠ ≤ ≥ ∞ √ ∑ ∫ ∂ ∇

<p>Согласно новому отчету Cloudflare, в 2025 году Googlebot вновь стал самым активным веб-краулером. Несмотря на стремительный рост ИИ-ботов, именно Google продолжает генерировать больше всего трафика, активно сканируя интернет как для поисковой индексации, так и для обучения собственных ИИ-моделей.</p>
<p>Данные Cloudflare показывают, что число ИИ-краулеров резко увеличилось, издатели все чаще блокируют ботов, а многие платформы при этом почти не возвращают трафик обратно на сайты.</p>
<h3>Основные цифры</h3>
<ul>
<li>Googlebot обеспечил более 25% всего трафика Verified Bot, зафиксированного Cloudflare.</li>
<li>Один только Googlebot сгенерировал 4,5% всех HTML-запросов &mdash; больше, чем все остальные ИИ-боты вместе взятые (4,2%).</li>
<li>ИИ-краулинг с имитацией пользовательских действий вырос более чем в 15 раз по сравнению с прошлым годом, что говорит о росте ботов, копирующих поведение человека.</li>
<li>Объем краулинга Googlebot значительно превосходил всех других ИИ-краулеров, включая OpenAI, Anthropic и Meta.</li>
</ul>
<h3>Рост активности ИИ-краулеров</h3>
<p>ИИ-боты стали самыми часто полностью запрещаемыми user-agent в файлах robots.txt. Издатели все активнее ограничивают доступ автоматизированных систем к своему контенту.</p>
<p>Anthropic показал самое высокое соотношение &laquo;краулинг / реферальный трафик&raquo; среди крупных ИИ- и поисковых платформ. Это означает, что платформа сканировала значительно больше контента, чем возвращала трафика на сайты.</p>
<ul>
<li>В начале года показатель Anthropic достигал примерно 500&nbsp;000:1.</li>
<li>После мая он стабилизировался в диапазоне от 25&nbsp;000:1 до 100&nbsp;000:1.</li>
</ul>
<h4>Для сравнения</h4>
<ul>
<li>OpenAI в марте достиг пика около 3&nbsp;700:1.</li>
<li>Perplexity показал самый низкий показатель среди крупных ИИ-платформ: сначала менее 100:1, затем кратковременно превысил 700:1 в конце марта во время всплеска активности PerplexityBot, после чего в основном оставался ниже 400:1 и с сентября &mdash; ниже 200:1.</li>
</ul>
<h3>Поисковые платформы: иная картина</h3>
<p>У традиционных поисковых систем соотношение краулинга и возвращаемого трафика выглядело иначе:</p>
<ul>
<li>Microsoft удерживался в диапазоне примерно от 50:1 до 70:1 с выраженной недельной цикличностью.</li>
<li>Google вырос с чуть более 3:1 до примерно 30:1 к апрелю, затем снизился до около 3:1 к середине июля и после этого снова начал постепенно расти.</li>
<li>DuckDuckGo оставался ниже 1:1 в течение первых трех кварталов года, затем в середине октября поднялся до примерно 1,5:1 и сохранил этот уровень.</li>
</ul>
<h3>Google по-прежнему монополизирует поиск</h3>
<p>Доминирование традиционного поиска в целом практически не изменилось. Google сохранил уверенное лидерство на протяжении всего года.</p>
<ul>
<li>Google обеспечивал почти 90% всего реферального трафика из поисковых систем.</li>
<li>Bing &mdash; 3,1%.</li>
<li>Yandex &mdash; 2,0%.</li>
<li>Baidu &mdash; 1,4%.</li>
<li>DuckDuckGo &mdash; 1,2%.</li>
</ul>
<p>По данным Cloudflare, в течение года наблюдались лишь незначительные изменения:</p>
<ul>
<li>Google оставался доминирующей силой.</li>
<li>Yandex снизился с 2,5% в мае до 1,5% в июле.</li>
<li>Baidu вырос с 0,9% в апреле до 1,6% в июне.</li>
</ul>

Скопировано в буфер!

Вставлено из буфера!

Googlebot доминирует в веб-краулинге в 2025 году. Правка

Дополнительные символы