Crawl budget: ce este și cum să îl optimizezi pentru site-uri mari

Crawl budget reprezintă numărul de pagini pe care Googlebot le accesează și le procesează pe site-ul tău într-un interval de timp dat. Pentru site-urile mici, nu este o problemă. Pentru site-urile cu mii sau zeci de mii de pagini, gestionarea eficientă a crawl budget-ului poate face diferența dintre o indexare completă și una parțială.

Crawl budget: ce este și cum să îl optimizezi pentru site-uri mari

Google alocă fiecărui site un crawl budget determinat de doi factori: crawl rate limit (cât de rapid poate Googlebot accesa site-ul fără a-l supraîncărca) și crawl demand (cât de des vrea Google să re-crawleze paginile, bazat pe popularitate și frecvența modificărilor). Un server lent primește automat un crawl rate limit mai mic.

Cauzele frecvente de risipă a crawl budget-ului

• URL-uri duplicate generate de parametri: filtre, sortare, sesiuni, UTM tracking
• Pagini de paginare excesivă pentru categorii cu sute de produse
• Versiuni duplicate HTTP/HTTPS sau www/non-www neconsolidate
• Pagini de căutare internă indexabile
• Pagini 404 care primesc linkuri interne sau externe

Soluții tehnice principale

Robots.txt pentru blocarea URL-urilor inutile

User-agent: Googlebot
Disallow: /cautare/
Disallow: /cos/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?utm_source=

Canonical tags pentru consolidarea duplicatelor

Configurează canonical tags pentru toate variantele duplicate ale aceleiași pagini. Aceasta semnalează Google că nu trebuie să indexeze variantele, economisind crawl budget pentru pagini noi valoroase.

Monitorizarea crawl budget-ului

Google Search Console, Crawl Stats (Settings, Crawl Stats) afișează numărul de pagini crawlate zilnic și codul de răspuns al cererilor. O scădere bruscă a crawl-ului zilnic poate indica probleme de server sau blocări accidentale în robots.txt.

Concluzie

Optimizarea crawl budget-ului este esențială pentru site-urile mari. Fiecare pagină inutilă accesată de Googlebot înseamnă o pagină valoroasă care nu a fost procesată și potențial neindexată.

Descoperă mai multe tehnici de SEO tehnic pe blogul Dorel Tănase.