Il miglior approccio per ottimizzare il crawl budget di un sito web è quello di iniziare con il miglioramento della velocità complessiva del sito e la semplificazione della struttura del sito per aiutare sia gli utenti che il Googlebot a navigare velocemente all’interno del sito.
Il crawl budget è un concetto chiave per i professionisti SEO perché una cattiva gestione del crawl budget del sito web può portare a non indicizzare correttamente o del tutto le pagine web da parte di Google e, cosa più importante, a perdere il prezioso traffico di ricerca.
Mentre la maggior parte dei siti non ha bisogno di preoccuparsi del crawl budget, se si gestisce un sito web con più di 500 pagine, è necessario concentrarsi sull’ottimizzazione del crawl budget del sito.
Alcune cose che possono influenzare il crawl budget di un sito web
Come dicevamo la prima cosa da fare è testate la velocità di caricamento del sito anche con i tool offerti gratuitamente da Google come PageSpeed Insights. Una volta ottenuti i valori bisogna iniziare con il miglioramento della velocità complessiva del sito e la semplificazione della struttura delo stesso, in quanto entrambi questi aspetti aiuteranno sia gli utenti che il Googlebot.
Poi bisognerà iniziare a lavorare sui link interni, risolvere i problemi di duplicazione dei contenuti e rimuovere le catene di redirect.
Ecco quindi il passo successivo che sarà quello di valutare gli eventuali fattori che possono influenzare il crawl budget:
- Duplicazione del contenuto del sito
- Pagine di soft-errore
- Bassa qualità e contenuto spam
- Faceted navigation e parametri URL
- Pagine hackerate
Quando si parla di migliorare la velocità del sito bisogna sempre ricordare che Google afferma che “rendere un sito più veloce migliora l’esperienza degli utenti e aumenta anche il tasso di crawl”.
Ecco perché è sempre bene abilitare la compressione, rimuovere il JS che blocca il rendering, sfruttare la cache del browser e ottimizzare le immagini per dare a Googlebot il tempo di visitare e indicizzare tutte le pagine.
Per semplificare l’architettura del sito bisogna strutturare il sito web strato per strato, iniziando dalla homepage, poi le categorie/tag e infine le pagine di contenuto e andare a rivedere la struttura organizzando le pagine in base agli argomenti e utilizzando i link interni per guidare i crawler.
Evitate le pagine orfane. Poiché le pagine orfane non hanno link esterni o interni e non hanno un collegamento diretto con il web, Google ha difficoltà a trovare queste pagine.
Limitare i contenuti duplicati è la base dalla quale partire visto che tutti, compreso Google, vogliono solo contenuti di qualità e unici. Ecco perché è fondamentale implementare correttamente i tag canonici, le pagine di categoria/tag noindex e limitare gli URL con parametri.
Rimuovere le catene di redirect è altrettanto importante. I reindirizzamenti, specialmente nei siti di massa, sono molto comuni. Ma i redirect che hanno più di tre hop possono creare problemi a Googlebot. Utilizzare un analizzatore di log serve per trovare i redirect e correggerli puntando il primo URL direttamente verso all’ultimo della catena.
Utilizzare i link interni serve perché Google dà priorità a tutte quelle pagine con molti link esterni ed interni, ma non è possibile ottenere dei backlink ad ogni singola pagina del sito. Con un corretto internal linking Googlebot può raggiungere ogni pagina del sito.
Se si ha a che fare con un sito dagli alti volumi di traffico (un grande brand di e-commerce, per esempio), il budget di crawl sarà a maggior ragione una cosa importante da tenere sempre a mente.
[via searchengineland.com]
