Google: i disallowed URL non hanno effetto sul Crawl Budget

i disallowed URL non hanno effetto sul Crawl Budget

L’argomento disallowed URL non smette mai di suscitare curiosità e domande tecniche sia nei professinisti che in tutti coloro che si avvicinano alla SEO.

La domanda fatta a Gary Illyes di Google si riferiva all'”User-agent: * Disallow’: “/che blocca i web crawler che se inserito nel file robots.txt  può essere utilizzato sia per bloccare la scansione di un intero sito, sia per bloccare la scansione di URL specifici.

Gary Illyes ha quindi deciso di aggiornare il documento originale sul crawl budget con chiarimenti sugli URL non consentiti.

Master AI

Il documento ora include le seguenti informazioni:

“Q: Do URLs I disallowed through robots.txt affect my crawl budget in any way?

A: No, disallowed URLs do not affect the crawl budget.”

The question refers to the “User-agent: * Disallow: /” protocol in robots.txt that blocks web crawlers.

It can either be used to block an entire site from being crawled, or it can be used to block specific URLs from being crawled.

Alla domanda se gli URL non consentiti attraverso robots.txt influenzano in qualche modo il crawl budget, Google risponde di no. Gli URL non consentiti non influiscono sul “budget della scansione”.

Come dicevamo l’User-agent: * Disabilita’: “/che blocca i web crawl, può essere utilizzato sia per bloccare la scansione di un intero sito, sia per bloccare la scansione di URL specifici e sulla base di ciò che ci dice Illyes, il blocco di URL specifici non ha un impatto sul crawl budget di tutto il resto del sito.

Le pagine non verranno sottoposte a scansione con maggiore frequenza a causa del fatto che altre pagine del sito non possono essere sottoposte a scansione.

Inoltre, non c’è alcuno svantaggio nel rifiutare gli URL quando si tratta di eseguire la scansione del budget.

Le informazioni aggiornate appaiono in fondo a questo articolo, all’interno di un post pubblicato del blog Webmaster Central del 2017.

Illyes ha anche detto su Twitter che ci sono in atto delle valutazioni per trasformare il post del blog in un articolo ufficiale all’interno del centro di assistenza.

[via searchenginejournal.com]

Master AI

 

Master AI

PS: se hai trovato utile questo post e vuoi saperne ancora di più, prova gratis Studio Samo Pro, la nostra piattaforma con oltre 200 corsi pratici.

Piaciuto? Condividilo!

L'autore

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Iscriviti gratis a…

MakeMeThink

La newsletter di Studio Samo

Ricevi ogni 2 settimane le novità più importanti dal mondo del digital marketing.

Potrebbe interessarti anche...

ai generativa
Jacopo Matteuzzi

AI generativa: cos’è e a cosa serve per il business

Oggi l’AI generativa è uno strumento indispensabile per le aziende. Ma cos’è? E come può aiutare il tuo business?Scopriamo insieme tutto quello che c’è da sapere su questa innovazione e su come può trasformare il modo in cui lavori.

ai marketing
Jacopo Matteuzzi

Che cos’è l’AI Marketing e come sta rivoluzionando il settore

L’AI marketing è forse la più grande innovazione di sempre in quest’ambito. Ma che cos’è esattamente? Come funziona? In questo articolo esploreremo questi aspetti in dettaglio, fornendo esempi pratici e analizzando le implicazioni etiche e sociali.

prompt engineering
Jacopo Matteuzzi

Prompt Engineering AI: cos’è, guida pratica

In questo articolo scoprirai cos’è il prompt engineering, perché è così importante, e soprattutto come può trasformare il tuo modo di lavorare con l’intelligenza artificiale.

Vuoi essere sempre sul pezzo?

Iscriviti a MakeMeThink, la newsletter di Studio Samo. ✉️ Ricevi ogni 2 settimane le novità più importanti dal mondo del digital marketing e AI per il marketing.