Meta robots: cos’è e come usarlo per la SEO

I meta robots non sono macchine umanoidi uscite dai cartoni animati, ma comandi necessari per la SEO tecnica. Scopri come influiscono sull'indicizzazione e il posizionamento di un sito web.
Tempo di lettura 4 minuti
Meta robots: cos'è e come usarlo per la SEO

Il meta robots è uno dei tag che deve conoscere chi si occupa di SEO, perché è un comando spesso indispensabile per dare una precisa indicazione al motore di ricerca che deve indicizzare e successivamente posizionare una pagina web.

Quando si parla di meta robots è importante discriminare tra Google e motori di ricerca in generale, vedremo di seguito il motivo di questa precisazione.

Andiamo a capire meglio la funzione e le peculiarità di questo tag che potrebbe causare problemi se utilizzato impropriamente.

Meta tag robots: cos’è e perché si usa?

Il meta tag robots è una stringa di codice che viene inserita in una pagina HTML per comunicare ai crawler dei motori di ricerca informazioni riguardanti l’archiviazione e la gestione del contenuto presente nella pagina stessa.

Attraverso questo comando ufficiale di Google si può dire o almeno suggerire il comportamento che deve tenere il software che arriva a “leggere” la pagina e che deve stabilire se essa può essere indicizzata.

Si usa il meta tag robots per non lasciare che i motori di ricerca agiscano liberamente quando mettono sotto le loro lenti d’ingrandimento digitali i siti web. Ad esempio è necessario se si desidera che una pagina non venga indicizzato, ma è utile anche per gestire la meta description o i link della pagina.

È importante non confondere il meta tag robots con il robots.txt. Quest’ultimo è un vero e proprio file di testo che apre o chiude l’accesso di una pagina o di una risorsa di un sito ai crawler, quindi non è una stringa di codice HTML paragonabile a un tag.

Meta name robots e content: sintassi e funzioni

Il meta tag robots può essere inserito nell’head della pagina HTML e deve avere una precisa sintassi composta dagli attributi “name” e “content”.

Il modo migliore per capire come è composta la stringa di codice è mostrare gli esempi pubblicati da Google nella sezione developers:

<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”noindex” />
(…)
</head>
<body>(…)</body>
</html>

Con questa comando si dice ai crawler di tutti i motori di ricerca di non inserire la pagina nella SERP.

È il momento di spiegare meglio perché questo tag può essere usato per “parlare” in generale ai software di analisi dei motori di ricerca o per comunicare specificamente con uno di essi.

Se l’obiettivo è non far inserire la pagina nell’indice di Google, nella stringa di codice deve essere citato chiaramente il Googlebot:

<!DOCTYPE html>
<html><head>
<meta name=”googlebot” content=”noindex” />
(…)
</head>
<body>(…)</body>
</html>

Con la stessa tecnica si possono dare indicazioni precise a specifici robots.

Continuando con gli esempi presenti nella pagina di Big G dedicata alle “specifiche relative al meta tag robots”, si possono impartire i seguenti comandi:

<meta name=”googlebot-news” content=”noindex” />

Questa stringa permette di evitare l’indicizzazione da parte del crawler di Google News, mentre la consente a tutti gli altri.

Al contrario, scrivendo name=”robots” il comando viene recepito da tutti i crawler.

È importante sottolineare che i comandi impartiti dai meta tag robots sono recepiti dai motori di ricerca solo se le pagine in cui sono inseriti non sono bloccate dal file robots.txt. Ovviamente se ad un crawler viene detto di non analizzare una pagina, non potrà nemmeno leggere l’eventuale “noindex”.

X robots tag: cos’è?

Gli x robots tag devono essere usati per impartire gli stessi comandi dei meta robots ai file contenenti immagini o documenti PDF, ovvero contenuti non HTML.

Google a proposito di questo argomento dice che:

“X-Robots-Tag può essere utilizzato come elemento della risposta dell’intestazione HTTP di un URL specifico. Qualsiasi istruzione utilizzabile in un meta tag robots può anche essere specificata come un X-Robots-Tag.”

Un esempio di x robots tag – noindex è il seguente:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Si possono combinare diverse istruzioni all’interno di una risposta HTTP e indicare specifici user agent prima delle istruzioni, così da dare indicazioni mirate e non generiche.

Esempio Google:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Principali comandi robots HTML

Se non si danno indicazioni ai motori di ricerca le pagine sono di default intese come index e follow, quindi indicizzabili e seguibili.

È invece possibile dare una serie di comandi per fare in modo che i crawler si comportino come vogliamo. Vediamo i principali.

Meta noindex

Usando il comando noindex si dice al motore di ricerca di non mettere nel proprio indice la pagina e di conseguenza di non mostrarla in SERP per dare riposta a query proposte dagli utenti.

Meta nofollow

Con questo tag si suggerisce al motore di ricerca di non seguire i link presenti nella pagina. Questa istruzione influenza il ranking delle pagine linkate, perché non viene trasmesso PageRank.

Meta none

Se non si vogliono utilizzare unitamente i due meta tag robots noindex e nofollow per dire al motore di ricerca di non indicizzare e di non seguire i link di una pagina, si può usare più semplicemente il comando none.

Lapidariamente, Google a proposito di questo tag dice che è “equivalente a noindex, nofollow”.

Meta noarchive

Il robots noarchive non permette di creare una copia della pagina nella cache e quindi evita che essa venga visualizzata dagli utenti che digitano una richiesta sul motore di ricerca.

È un ordine che al crawler suona come “non mostrare un link copia cache nei risultati di ricerca”.

Meta noimageindex

Non indicizzare le immagini presenti nella pagina, questo è il messaggio che si dà alla mente digitale di Google e degli altri motori di ricerca che accettano tale comando.

Meta nosnippet

Il nosnippet è un meta tag robots accettato solo da Google e serve a non mostrare in SERP la parte testuale dello snippet o l’anteprima di un video, però non blocca la visualizzazione di una miniatura statica di un’immagine, se il motore di ricerca stabilisce che essa migliora la UX.

Capito perché la SEO non può fare a meno dei meta robots?

Attraverso i meta tag robots si guida il motore di ricerca durante il processo di scansione dei siti web, dandogli indicazioni inequivocabili che lo agevolano in un’attività che altrimenti brucerebbe risorse in operazioni non utili.

Inserendo opportunamente i meta robots nelle pagine si possono risolvere problemi tecnici che penalizzerebbero il posizionamento e gestire i contenuti da mostrare o meno agli utenti che fanno ricerche online.

Luca Lanzoni

Luca Lanzoni

Luca Lanzoni è copywriter freelance e scrive per piattaforme online dal 2006. Dopo aver affrontato studi di web marketing si dedica alla realizzazione di contenuti per strategie di comunicazione digitale. Oggi collabora con specialisti di SEO, SEA, SMM, Inbound, realizzando testi mirati per blog, siti, e-commerce, landing page, social network.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Solo per veri

Digital Marketer

Ricevi i nostri migliori articoli, contenuti gratuiti, offerte riservate e tanto altro!

Solo per veri
Digital Marketer

Ricevi via email i nostri migliori articoli, contenuti gratuiti, offerte riservate e tanto altro!