В "Яндекс.Вебмастер" добавлен новый инструмент "Скорость обхода"

Он расположен во вкладке "Индексирование". Смысл инструмента в том, чтобы самостоятельно устанавливать частоту, с которой поисковик будет посылать запросы к сайту. Так владельцы веб-ресурсов смогут влиять на скорость обхода сайтов поисковыми роботами. Изначально для каждого ресурса устанавливается максимально возможное значение с учетом допустимых нагрузок на сервер.

Решение запустить новый инструмент пришло к "Яндексу" после анализа писем, которые присылали пользователи в течение последних двух лет в поддержку по вопросам индексирования. Выяснилось, что сайты медленно индексируются из-за директивы Crawl-delay в robots.txt, которую часто настраивали неправильно. Многие вебмастера выставляли в ней величины "как у других", то есть как у старых ресурсов с "домашними" компьютерами в качестве серверов. Иногда это были значения вплоть до 100, а ведь если этот показатель превышает 2, скорость обхода уменьшается иногда в разы. В результате многие страницы вообще долго не попадали в индекс.

В "Яндексе" приняли решение больше не учитывать директиву Crawl-delay. Если вебмастер все же решит снизить скорость обхода, сделать это он сможет с помощью нового инструмента, настройки которого начали приниматься во внимание с 22 февраля.

Те, кто не уверен, какие значения лучше выставить, могут воспользоваться опцией "Доверять Яндексу", и поисковик сам подберет оптимальную частоту индексирования.

Читайте далее

Реклама-загадка на дорогах Каира

“Яндекс” делится своим сервисом для управления проектами

"Яндекс.Дзен" ищет авторов

Facebook запатентовал систему, с которой можно тайно прослушивать телевизоры пользователей через их телефоны