Google: i disallowed URL non hanno effetto sul Crawl Budget

i disallowed URL non hanno effetto sul Crawl Budget
Indice dei contenuti

L’argomento disallowed URL non smette mai di suscitare curiosità e domande tecniche sia nei professinisti che in tutti coloro che si avvicinano alla SEO.

La domanda fatta a Gary Illyes di Google si riferiva all'”User-agent: * Disallow’: “/che blocca i web crawler che se inserito nel file robots.txt  può essere utilizzato sia per bloccare la scansione di un intero sito, sia per bloccare la scansione di URL specifici.

Gary Illyes ha quindi deciso di aggiornare il documento originale sul crawl budget con chiarimenti sugli URL non consentiti.

Studio Samo Pro Minidegree

Il documento ora include le seguenti informazioni:

“Q: Do URLs I disallowed through robots.txt affect my crawl budget in any way?

A: No, disallowed URLs do not affect the crawl budget.”

The question refers to the “User-agent: * Disallow: /” protocol in robots.txt that blocks web crawlers.

It can either be used to block an entire site from being crawled, or it can be used to block specific URLs from being crawled.

Alla domanda se gli URL non consentiti attraverso robots.txt influenzano in qualche modo il crawl budget, Google risponde di no. Gli URL non consentiti non influiscono sul “budget della scansione”.

Come dicevamo l’User-agent: * Disabilita’: “/che blocca i web crawl, può essere utilizzato sia per bloccare la scansione di un intero sito, sia per bloccare la scansione di URL specifici e sulla base di ciò che ci dice Illyes, il blocco di URL specifici non ha un impatto sul crawl budget di tutto il resto del sito.

Le pagine non verranno sottoposte a scansione con maggiore frequenza a causa del fatto che altre pagine del sito non possono essere sottoposte a scansione.

Inoltre, non c’è alcuno svantaggio nel rifiutare gli URL quando si tratta di eseguire la scansione del budget.

Le informazioni aggiornate appaiono in fondo a questo articolo, all’interno di un post pubblicato del blog Webmaster Central del 2017.

Illyes ha anche detto su Twitter che ci sono in atto delle valutazioni per trasformare il post del blog in un articolo ufficiale all’interno del centro di assistenza.

[via searchenginejournal.com]

Studio Samo Pro Minidegree

 

Studio Samo Pro Minidegree
Vuoi dare una svolta alla tua carriera o innovare la tua azienda?

Scopri il nostro corso in Web & Digital Marketing

54 ore in aula a Bologna o in live streaming

Piaciuto? Condividilo!

L'autore di questo post

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Iscriviti gratis a…

MakeMeThink

La newsletter di Studio Samo

Ricevi ogni 2 settimane le novità più importanti dal mondo del digital marketing.

Potrebbe interessarti anche...

Quota impression Google ads
Beatrice Romano

Quota impression Google Ads

La quota impressioni Google Ads ti permette di capire se i tuoi annunci sono visibili sulla rete di ricerca. Non solo ti aiuta a monitorare i competitor, ma anche a capire come migliorare i tuoi annunci per aumentare la visibilità.

Oltre all’attività dei competitor, la visibilità dipende da budget e ranking dell’annuncio, fattori che puoi controllare per migliorare la tua posizione in serp.

dirette instagram
Giuliana Curato

Dirette Instagram: come fare le live su IG

Ti chiedi come sfruttare al meglio le dirette Instagram per connetterti con il tuo pubblico e ottimizzare la tua presenza online ma non sai da dove iniziare? Allora sei nel posto giusto.

regolamentazione intelligenza artificiale
Caterina Quaiotti

AI Act e regolamentazione dell’Intelligenza Artificiale

L’impatto dell’utilizzo dell’IA è tangibile in diverse aree, promuovendo l’efficienza operativa, la competitività e l’innovazione e possiamo per questo parlare di benefici evidenti e concreti. 

La sua rapida diffusione solleva anche questioni etiche e giuridiche cruciali.

La necessità di una regolamentazione legale dell’Intelligenza Artificiale è emersa come una priorità fondamentale per garantire un utilizzo responsabile e sicuro di questa tecnologia avanzata. Facciamo un po’ di chiarezza in materia.

informazioni aste google ads
Beatrice Romano

Informazioni sulle aste e analisi competitors su Google Ads

Quando si lavora in Google Ads è importante monitorare ciò che fanno i competitor non solo per i prodotti o servizi che offrono agli utenti, ma anche per capire come si propongono, che linguaggio usano e a cosa danno più importanza. In questo articolo ti parlerò dell’analisi dei competitor a partire dalle parole chiave presenti all’interno delle campagne in rete di ricerca.

redirect 301
Mattia Cantoni

Redirect 301 per la SEO: una guida completa

I redirect 301 sono tanto semplici da impostare quanto pericolosi per l’ottimizzazione SEO se utilizzati in modo scorretto. In questa guida passo-passo
scoprirai come padroneggiare l’utilizzo di un redirect 301 e come prevenire alcuni dei più comuni errori.

Iscriviti gratis a

MakeMeThink

La newsletter di Studio Samo

Ricevi ogni 2 settimane le novità più importanti dal mondo del digital marketing.