Quanto spesso passa il Google crawler e indicizza

google-crawler
Indice dei contenuti

La frequenza con la quale Google decide di far passare i propri crawler e i relativi tempi di indicizzazione delle singole pagine web cambiano senza una regola ben precisa, e Google, sapendo di questa lacuna ha deciso da tempo di lavorarci sopra.

In uno degli ultimi webmaster hangout un publisher ha domandato dopo quanto tempo Google rimuovesse le pagine dall’indice una volta che si è aggiunto ad esse un noindex nofollow.

Il partecipante all’hangout ha sollevato la questione perché ha dichiarato di aver aggiunto noindex ad una pagina web, che però è rimasta ancora per molto tempo nell’indice di Google.

Studio Samo Pro Minidegree

John Mueller di Google ha preso la domanda come spunto e ha descritto la frequenza di indicizzazione di alcune pagine.

Il Senior Webmaster Trends Analyst di Google ha spiegato come gli URL siano scansionati a velocità diverse, ma la cosa più interessante che ha detto è che alcuni URL possono essere scansionati anche solo una volta ogni sei mesi.

Il partecipante all’hangout riferiva come ancora oggi stesse “vedendo cose che risalgono a molto tempo fa”, e seppur fosse stato cambiato il noindex nofollow la pagina veniva ancora indicizzata. Aggiungendo che tutto “è ancora presente nonostante fossero passati diversi mesi dopo che abbiamo cambiato tutto questo”.

Risponde John Mueller:

“I think the hard part here is that we don’t crawl URLs with the same frequency all the time. So some URLs we will crawl daily. Some URLs maybe weekly. Other URLs every couple of months, maybe even every once half year or so.So this is something that we try to find the right balance for, so that we don’t overload your server”.

La difficoltà sta nelle tempistiche con cui passanno i crawler sugli URL che non hanno mai la stessa frequenza. Alcuni URL vengono scansionati ogni giorno, altri forse settimanalmente, altri ancora ogni due mesi, per poi arrivare a crawllare addirittura con una frequenza semestrale.

E poi Muller ha aggiunto: “Questo è qualcosa per cui cerchiamo di trovare il giusto equilibrio, in modo da non sovraccaricare il vostro server.
E se hai apportato cambiamenti significativi sull’intero sito web, probabilmente molti di questi cambiamenti sono stati raccolti abbastanza rapidamente, ma alcuni saranno rimasti fuori.
Ecco perché se fai dei test sulle query del sito, c’è la possibilità di continuare a vedere quegli URL che vengono scansionati ogni semestre”.

Attenzione quindi a come si valuta e monitora un sito web, visto che il Senior Webmaster Trends Analyst di Google sottolinea come non necessariamente se dopo mesi e mesi gli url sono sempre presenti vuol dire che tecnicamente c’è qualcosa di rotto o sbagliato.

Utilizzare la mappa del sito per attivare l’aggiornamento del Crawling

Se come il partecipante all’hangout sollevava i problemi di tempo nelle risposte di Google, John Mueller risponde che per velocizzare i tempi sarebbe buona prassi quella di aggiornare la mappa del sito e lasciare che Googlebot scopra l’ultima data modificata, utilizzandola come suggerimento per il bot ad andare a scansionare le vecchie pagine web.

Se si pensa che uno o più URL non dovrebbero essere indicizzati, allora si potrebbe forse fare un passo indietro ed evidenziare chiaramente la presenza di un file della mappa del sito con la data dell’ultima modifica, in modo che Google si “interrompa” e provi a ricontrollali un po’ più velocemente di quanto non lo faccia in modo naturale.

Strumento di ispezione URL di Google

Ricordiamo, comunque, una delle ultime novità messe ben in evidenza all’interno della Google Search Console, ossia l’utilizzo dello strumento di ispezione URL.
Secondo quanto pubblicato nella pagina di aiuto della Search Console nella sezione dedicata alla reindicizzazione, una presentazione dell’URL può richiedere fino a una o due settimane.

Comunque è sempre bene tenere a mente che lo strumento di ispezione degli URL è utile se si dispone di alcuni pochi singoli URL che necessitano di re-crawling. Se si dispone di un gran numero di pagine web, Google consiglia di inviare una mappa del sito.

Studio Samo Pro Minidegree

Maggiori informazioni su come chiedere a Google di eseguire nuovamente il crawl degli URL possono essere trovate qui: https://support.google.com/webmasters/answer/6065812

[via searchenginejournal.com]

Studio Samo Pro Minidegree
Vuoi dare una svolta alla tua carriera o innovare la tua azienda?

Scopri il nostro corso in Web & Digital Marketing

54 ore in aula a Bologna o in live streaming

Piaciuto? Condividilo!

L'autore di questo post

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Iscriviti gratis a…

MakeMeThink

La newsletter di Studio Samo

Ricevi ogni 2 settimane le novità più importanti dal mondo del digital marketing.

Potrebbe interessarti anche...

regolamentazione intelligenza artificiale
Caterina Quaiotti

AI Act e regolamentazione dell’Intelligenza Artificiale

L’impatto dell’utilizzo dell’IA è tangibile in diverse aree, promuovendo l’efficienza operativa, la competitività e l’innovazione e possiamo per questo parlare di benefici evidenti e concreti. 

La sua rapida diffusione solleva anche questioni etiche e giuridiche cruciali.

La necessità di una regolamentazione legale dell’Intelligenza Artificiale è emersa come una priorità fondamentale per garantire un utilizzo responsabile e sicuro di questa tecnologia avanzata. Facciamo un po’ di chiarezza in materia.

informazioni aste google ads
Beatrice Romano

Informazioni sulle aste e analisi competitors su Google Ads

Quando si lavora in Google Ads è importante monitorare ciò che fanno i competitor non solo per i prodotti o servizi che offrono agli utenti, ma anche per capire come si propongono, che linguaggio usano e a cosa danno più importanza. In questo articolo ti parlerò dell’analisi dei competitor a partire dalle parole chiave presenti all’interno delle campagne in rete di ricerca.

redirect 301
Mattia Cantoni

Redirect 301 per la SEO: una guida completa

I redirect 301 sono tanto semplici da impostare quanto pericolosi per l’ottimizzazione SEO se utilizzati in modo scorretto. In questa guida passo-passo
scoprirai come padroneggiare l’utilizzo di un redirect 301 e come prevenire alcuni dei più comuni errori.

tool instagram marketing
Giuliana Curato

Strumenti per Instagram Marketing

In questo articolo, vedremo insieme una varietà di strumenti per Instagram e perché usarli. Inoltre scopriremo come possono cambiare sia il modo in cui interagisci con il tuo pubblico che la gestione di stories, reels e post per aiutarti a non perdere il lume della ragione (e la pazienza). 

demand gen google ads
Manuel Lodi

Campagne Demand Gen di Google Ads: cosa sono e come funzionano

La prima volta che abbiamo sentito nominare le campagne Demand Gen è stato durante il Google Marketing Live di Maggio 2023, dove venivano presentate sotto il cappello delle campagne di nuova generazione, completamente autonome e in grado di evolvere e performare al meglio grazie al Machine Learning e all’Intelligenza Artificiale della piattaforma di Adv di Google. In questo post vediamo come affrontare questa importante novità.

Iscriviti gratis a

MakeMeThink

La newsletter di Studio Samo

Ricevi ogni 2 settimane le novità più importanti dal mondo del digital marketing.