Cos’è il Meta Tag Robots e a cosa serve


Postato in data Marzo 7th, da Riccardo Esposito in Vita da Webmaster. No Comments

Quando si parla di meta tag robots il rischio è sempre lo stesso: confonderlo con il robots.txt. In realtà sono due elementi molto differenti che svolgono una funzione simile: comunicano con Google. Danno indicazioni al motore di ricerca, con metodi diversi. Ma altrettanto validi.

Meta Tag Robots

Per un webmaster è importante poter lavorare con la massima flessibilità e autonomia questo punto. Chi si occupa di SEO deve essere in grado di suggerire a Google come comportarsi di fronte a una risorsa. Se seguirla o meno. E se dare importanza i link inseriti.

Questo è decisivo, importante per la gestione della tua presenza online. Ecco perché ho pensato di dare qualche riferimento utile rispetto al meta tag robots, una stringa di testo che non si vede nella pagina restituita dal browser. Ma può fare tanto per l’equilibrio del sito web.

Cos’è il meta tag robots: definizione

Si tratta di un meta tag che controlla il comportamento della scansione. Questa stringa di codice rientra nell’elenco dei comandi ufficiali di Google.

Viene usata per comunicare con i programmi che si occupano della scansione del sito web.

Mentre, ad esempio, la description suggerisce un testo per introdurre il contenuto del documento da inserire nella serp, il meta tag robots dà notifiche rispetto ai parametri della pubblicazione.

Questa stringa può controllare l’indicizzazione di una risorsa. Il vantaggio: puoi attivare dei processi specifici, non operazioni di massa ma puntuali e certosini per regolare un passaggio decisivo: come Google debba vedere una singola pagina. Qualche dato in più?

Da leggere: cosa fare quando il sito non si vede su Google

Dove si mette il robots: nell’header

La posizione dell’elemento, come per i meta tag delle pagine web, è la sezione header del documento HTML. In questo modo si convalida la presenza di queste istruzioni e i vari crawler possono leggere le indicazioni del webmaster e agire di conseguenza.

meta tag robots
Come cambiare il meta tag robots.

Per modificare l’elemento senza intervenire sul codice puoi usare WordPress SEO by Yoast che nelle funzioni avanzate permette di modificare la visibilità di una pagina tramite un menu a tendina. Ovviamente è un approccio limitato ma semplice e veloce.

Esempio di meta tag robots HTML

Il modo migliore per capire cos’è il robots in questo contesto? Mostrarlo. Forse hai già visto una stringa del genere, ecco un esempio preso dalla guida Google:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
</head>
<body>(…)</body>
</html>

Come puoi vedere l’elemento in grassetto rappresenta il meta tag robots, composto da due elementi. Vale a dire il valore dell’attributo (name) e il tipo di comando da attribuire al documento (content). In questo caso si è indicato che il comando vale per tutti i crawler.

<meta name="googlebot" content="noindex" />

Così, invece, l’indicazione vale solo per un determinato programma di scansione, vale a dire il bot principale di Google. Il resto degli spider viene esonerato dal comando.

Il tag robots viene preso in considerazione dopo l’OK del robots.txt. Se quest’ultimo impedisce la lettura della pagina, le informazioni successive sono ignorate. Queste sono delucidazioni che i motori di ricerca possono prendere in considerazione ma non dei blocchi sicuri. Se hai delle informazioni riservate che non vuoi far indicizzare conviene usare una password per proteggere l’accesso.

A cosa serve: noindex e nofollow?

Il tag title mi aiuta a comunicare il topic base a Google e fa uscire il titolo nello snippet, la meta description si occupa della descrizione. Il tag keyword non serve a niente. E il robots? Qual è il suo compito? Comunica al motore di ricerca come comportarsi con:

  • Noindex: non indicizzare la pagina web.
  • Nofollow: non seguire i link della pagina.

Questi sono i comandi principali. I valori predefiniti sono attivi (index e follow) ma non devono essere specificati. Google riconosce più valori per ogni comando, basta separarli calla virgola. Non vengono influenzati da maiuscole o minuscole. Un esempio?

<meta name="robots" content="noindex, nofollow" /> 

La pagina web è praticamente inesistente. O almeno questa è la richiesta del webmaster. Ma non esistono solo i comandi per non far indicizzare una pagina o mettere i link in nofollow.

<meta name="googlebot" content="noindex"> 
<meta name="googlebot-news" content="nosnippet">

Ricorda, inoltre, che per comunicare le tue preferenze a due spider differenti devi usare due comandi diversi su righe consecutive. Sopra trovi un esempio della corretta sintassi per scrivere un meta tag robots dedicato a due software differenti di Mountain View.

Gestione avanzata del tag robots

Come già detto, ci sono diversi comandi che puoi inserire in questo elemento del codice HTML per gestire la relazione tra motore di ricerca e pagina web. Ecco la lista delle possibilità che puoi prendere in esame e implementare sul tuo blog o sito web.

allValore predefinito. Nessun limite a indicizzazione.
noindexNon mostrare la pagina nei risultati di ricerca.
nofollowNon seguire i link su questa pagina.
noneUguale a noindex, nofollow.
noarchiveNon mostrare link “Copia cache” nella serp.
nosnippetImpedisce la visualizzazione dello snippet nella serp.
notranslateNon proporre la traduzione della pagina nella serp.
noimageindexNon indicizzare le immagini.

Da considerare la presenza del tag unavailable_after. Una variabile per non mostrare la pagina nei risultati di ricerca dopo la data e l’ora specificata in formato RFC 850.

Non dimenticare X.Robots-Tag

Ricorda, inoltre, che puoi implementare X-Robots-Tag lato htaccess per impostare le stesse regole del meta tag robots ai file non HTML tipo immagini e PDF. Ecco un esempio di come può presentarsi il comando per noindex e nofollow sui Portable Document Format:

<Files ~ "\.pdf$">   
Header set X-Robots-Tag "noindex, nofollow"
</Files>

Perché è importante per la SEO?

Semplice: con questo tool puoi suggerire a Google quali sono le risorse che non deve prendere in considerazione. Perché, ad esempio, non costituiscono un valore reale per gli utenti e devono essere online solo per una questione di servizio. Come le pagine privacy.

Dedica il giusto tempo ai meta tag.

Oppure con le risorse dedicate ai media partner. Se hai una pagina con collegamenti a clienti e collaboratori forse può essere il caso di mettere tutti i link in nofollow. Google deve vedere che esiste quella risorsa ma non è consentito dare valore in termini SEO a quei collegamenti.

Quindi puoi usare il meta tag robots per dare informazioni specifiche. Ed evitare una possibile penalizzazione, dato che Mountain View non è d’accordo con queste pratiche.

Da leggere: cancellare una pagina da Google

Tu come usi il meta tag robots?

Il passaggio è importante per ottenere il miglior risultato possibile dal tuo sito web. Ricorda di lavorare in modo da semplificare la vita al motore di ricerca e di controllare sempre che non ci siano blocchi con il meta tag robots sulle pagine che ti interessano. A volte, come capita con il robots.txt, basta una svista per ritrovarsi con risorse importanti deindicizzate.

Riccardo Esposito

Blogger per Serverplan, webwriter freelance e autore di My Social Web. Scrivo ogni giorno. Ho pubblicato un libro dedicato al mondo del blogging. Ah, l'ho già detto che scrivo?




Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

*

Shares