Crawl budget (budżet indeksowania witryny internetowej), to wskaźnik, który pozwala określić, ile maksymalnie podstron robot sieciowy Google może zaindeksować na danej witrynie.
W jego skład wchodzą parametry:
Crawl rate limit – limit współczynnika skanowania, który zapobiega przeciążeniu i spowolnieniu serwera strony.
Na czynnik crawl rate limit wpływa:
Crawl health – gdy strona odpowiada szybko, limit podstron pobieranych jednorazowo przez Googlebot zostaje powiększony.
Limit ustawiony w Google Search Console – właściciel strony www może zmienić limit w panelu ustawień Google Search Console.
Crawl demand – częstotliwość indeksacji określa w jakich stopniu i ile będą odwiedzone oraz zaindeksowane strony podczas pracy robota Google. Robot podczas swojej pracy wyznacza, które z witryn umieszcza się jako pierwsze do indeksacji.
Na czynnik crawl demand wpływa:
popularność – strony, które generują większą liczbę odwiedzin, są częściej odwiedzane przez roboty indeksujące.
aktualność – algorytmy Google rozpoznają, jak często dana witryna jest aktualizowana. Wszystko to po to, aby użytkownicy mogli mieć dostęp do najbardziej aktualnych danych.