Le budget Crawl est le nombre de pages d’un que le robot de Google analyse en une période donnée.
Par exemple, chaque jour, Google va crawler et analyser plus de pages d’Amazon ou de Cdiscount que de pages de SEO-Wiki.fr. On dit alors que ces sites ont un budget crawl plus important.
Pourquoi le budget crawl est important en SEO ?
Globalement, si votre budget crawl est trop faible par rapport à votre nombre de pages, il est normal qu’un grand nombre de vos pages ne soient pas indexées dans le moteur de recherche.
Si vous cherchez à faire l’optimisation SEO d’un petit site d’une centaine de pages et que votre architecture et votre maillage interne sont bien faits, vous ne devriez pas avoir à vous soucier du budget crawl.
En revanche, il y a des cas où il est important de connaître son budget crawl :
- Pour un gros site. Si vous avez un site avec plusieurs dizaines de milliers de pages mais un budget crawl trop faible, un grand nombre de ces pages ne seront pas analysées par Google et n’apparaîtront pas dans les résultats de recherche.
- Une indexation plus rapide. Si vous avez un budget crawl important, chaque page que vous allez ajouter à votre site va être indexée rapidement. C’est très intéressant pour une mise à jour d’un site où des centaines/milliers de pages sont ajoutées d’un seul coup.
- Trop de redirections. Chaque redirection va consommer une partie de votre budget crawl. Un site mal optimisé peut donc avoir des soucis d’indexation.
Avoir un meilleur budget crawl
Voici quelques conseils importants pour vous assurer un meilleur budget crawl :
1. Améliorer le temps de chargement
En réalité, votre budget crawl est déterminé en temps et non en nombre de pages.
C’est le point le plus important pour augmenter votre budget crawl car en optimisant le temps de chargement de votre site, vous réduisez le temps nécessaire à Googlebot pour analyser chaque page.
Si vous réduisez par deux le temps de chargement de votre site, vous multipliez alors par deux votre budget crawl.
2. Un maillage interne optimisé
Pour rappel, Google utilise les liens pour trouver et enregistrer une nouvelle page. Ces liens peuvent être internes à votre site ou venir d’un autre site.
Le problème est que toutes les pages de votre site ne reçoivent pas forcément un lien externe. Pour être sûr que Googlebot puisse accéder à chaque page de notre site, il est important de faire attention à son maillage interne.
3. Avoir plus d’autorité (PageRank)
La raison pour laquelle un site comme LeMonde ou Amazon dispose d’un budget crawl plus important est simple : Ils sont plus populaires.
Pour définir la popularité d’un site, Google va simplement analyser le nombre de liens que ce site reçoit venant d’autres sites.
Avec une stratégie de netlinking et en ayant plus de backlinks, vous pouvez augmenter progressivement votre autorité, votre popularité et donc votre budget crawl.