Google: i disallowed URL non hanno effetto sul Crawl Budget

Tempo di lettura: 2 minuti
Condividi su facebook
Condividi su linkedin
Condividi su twitter
i disallowed URL non hanno effetto sul Crawl Budget

L'argomento disallowed URL non smette mai di suscitare curiosità e domande tecniche sia nei professinisti che in tutti coloro che si avvicinano alla SEO.

Studio Samo Pro

La domanda fatta a Gary Illyes di Google si riferiva all'"User-agent: * Disallow': "/che blocca i web crawler che se inserito nel file robots.txt  può essere utilizzato sia per bloccare la scansione di un intero sito, sia per bloccare la scansione di URL specifici.

Gary Illyes ha quindi deciso di aggiornare il documento originale sul crawl budget con chiarimenti sugli URL non consentiti.

Il documento ora include le seguenti informazioni:

“Q: Do URLs I disallowed through robots.txt affect my crawl budget in any way?

A: No, disallowed URLs do not affect the crawl budget.”

The question refers to the “User-agent: * Disallow: /” protocol in robots.txt that blocks web crawlers.

It can either be used to block an entire site from being crawled, or it can be used to block specific URLs from being crawled.

Studio Samo Pro

Alla domanda se gli URL non consentiti attraverso robots.txt influenzano in qualche modo il crawl budget, Google risponde di no. Gli URL non consentiti non influiscono sul "budget della scansione".

Come dicevamo l'User-agent: * Disabilita': "/che blocca i web crawl, può essere utilizzato sia per bloccare la scansione di un intero sito, sia per bloccare la scansione di URL specifici e sulla base di ciò che ci dice Illyes, il blocco di URL specifici non ha un impatto sul crawl budget di tutto il resto del sito.

Le pagine non verranno sottoposte a scansione con maggiore frequenza a causa del fatto che altre pagine del sito non possono essere sottoposte a scansione.

Inoltre, non c'è alcuno svantaggio nel rifiutare gli URL quando si tratta di eseguire la scansione del budget.

Le informazioni aggiornate appaiono in fondo a questo articolo, all'interno di un post pubblicato del blog Webmaster Central del 2017.

Illyes ha anche detto su Twitter che ci sono in atto delle valutazioni per trasformare il post del blog in un articolo ufficiale all'interno del centro di assistenza.

[via searchenginejournal.com]

 

Studio Samo Pro
Condividi su facebook
Condividi su linkedin
Condividi su twitter

SOLO PER VERI MARKETER

Ricevi i nostri migliori articoli, contenuti gratuiti, offerte riservate e tanto altro!

Antonio Papini

Antonio Papini

Iscritto all'Ordine dei Giornalisti dal 2005 e consulente marketing per la PMI. Le due carriere apparentemente distanti si sono unite con la nascita dello Studio AppTur dove svolge l'attività di growth hacker specializzato in SEO, comunicazione aziendale, digital marketing e visibilità on-line.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Vuoi diventare autorevole in ambito digital marketing?
Accedi alla più vasta e completa selezione di video corsi d’Italia!
Studio Samo Pro è l’unica piattaforma in abbonamento che ti offre accesso illimitato a più di 700 ore di contenuti video dedicati al digital marketing in ogni suo aspetto.

Solo per veri marketer

Ricevi via email i nostri migliori articoli, contenuti gratuiti, offerte riservate e tanto altro!