Согласно последним обновлениям, с 8 января 2024 года инструмент ограничения частоты сканирования в Search Console перестанет действовать, оставив веб-сайты без этого полезного функционала.
Инструмент ограничения частоты сканирования был доступен более десяти лет, но стал устаревшим из-за автоматического улучшения принципов сканирования и развития инструментов для издателей.
Что касается работы робота Googlebot, он реагирует на ответы сервера на HTTP-запросы. Например, если сервер постоянно возвращает код статуса HTTP 500 для разных URL, то робот Googlebot автоматически замедляет сканирование этих ресурсов. Аналогичным образом, сканирование будет замедлено, если время ответа на запросы значительно увеличится.
До сих пор владельцам сайтов был доступен инструмент ограничения частоты запросов, но он работал медленнее алгоритма робота. Теперь, после удаления инструмента, Google установит минимальную скорость сканирования, чтобы соответствовать прежним ограничениям частоты сканирования для сайтов с низким интересом.
Эти изменения означают, что владельцам сайтов придется учитывать автоматическую регулировку частоты сканирования и использовать ответы сервера для уменьшения скорости сканирования. Если возникнут проблемы с поведением Googlebot или срочные ситуации, можно связаться с Google с помощью специальной формы обратной связи.
Итак, изменения в Search Console касаются ограничения частоты сканирования, и владельцам сайтов следует быть внимательными к автоматическим процессам, чтобы уменьшить негативное воздействие на их ресурсы и обеспечить оптимальную скорость сканирования.
Задать вопросы и получить справочную информацию можно на форумах Центра Google Поиска.