Краулинговый бюджет и с чем его едят
Гэри Илш, аналитик отдела качества поиска Google в своём посте подробно рассказал читателям что такое краулинговый бюджет, из каких показателей он складывается и какие факторы оказывают на него влияние. Уделять внимания этому показателю имеет смысл только достаточно крупным ресурсам и динамическим сайтам.
Краулинговый бюджет – это показатель, объединяющий в себе скорость сканирования и краулинговый спрос. Фактически он представляет собой количество URL, которые хочет и может просканировать поисковый робот Googlebot. Краулинговый спрос – это количество страниц, которые Google хочет просканировать, основываясь на актуальности контента и популярности страниц сайта в индексе поисковой системы.
Ограничение скорости сканирования позволяет избегать чрезмерной нагрузки на сервер, пусть при этом Google не обрабатывает страницы сайта с максимально возможной скоростью.
Специалисты компании Google выяснили, что большое количество низкокачественных страниц на сайте оказывает негативное влияние на сканирование и индексирование. В список низкокачественных страниц относятся: страницы с ошибкой 404, дубликаты, фасетная навигация и идентификаторы сессий, URL, создающие бесконечные пространства (например, календари), взломанные страницы, страницы с низкокачественным контентом и спам. На сканирование этих страниц тратятся ресурсы сервера, которые могли бы быть потрачены на сканирование и индексирование по-настоящему ценных страниц.
Из вышесказанного становится понятно, что Googlebot учитывает все сканируемые им страницы, поэтому на альтернативные URL, встроенный контент и цепочки редиректов также расходуется краулинговый бюджет.
Скорость сайта также оказывает свое влияние на этот показатель. Googlebot принимает высокую скорость загрузки как признак хорошей работы серверов, а это значит, что появляется возможность сканирования большего количества контента за одно и то же
количество соединений. Но стоит также знать, что скорость сканирования не обязательно в результа?те повысит позиции сайта в выдаче, потому что в процессе ранжирования Google использует большое количество других сигналов, к коим скорость сканирования не относится.
Стоит отметить, что работу Googlebot невозможно контролировать с помощью crawl-delay, потому что он его не обрабатывает. Если страница помечена как nofollow, она будет сканирована системой поиска, правда, при условии, что на любой другой странице сайта или в сети эта ссылка не помечена аналогично.
16.01.2017
