La combinazione tra crawl budget e hosting è interessante, ma spesso viene sorvolata l’importanza di questo rapporto. Nella maggior parte dei casi si punta alla ricerca di un servizio capace di ottimizzare qualità e prezzo, verso accorgimenti e spazi che puoi sopperire con un buon upgrade. Magari verso un cloud hosting o un server dedicato.
A volte, però, le necessità sono strutturali. Te ne accorgi quando lavori sui dettagli di un’ottimizzazione SEO del sito web. Pensa al fatto stesso che un hosting di qualità, capace di mantenere un buon uptime, rappresenta un passo importante per far trovare sempre il tuo sito web online. Ma non basta, ecco cosa sapere sul rapporto tra crawl budget e hosting.
Argomenti
Il crawl budget è l’insieme di risorse che il motore di ricerca decide di dedicare a un determinato sito web. Si tratta di un vero e proprio budget che viene determinato dallo spider e che rappresenta, seguendo le parole di Google, “the number of URLs Googlebot can and wants to crawl”.
Vale a dire il numero di URL che il bot di Mountain View può e vuole leggere sul sito. Più è alto il numero di kilobyte scaricato, più Google “ama” il lavoro che fai e vuole i contenuti. e il progetto che curi è importante agli occhi del motore di ricerca.
Questo per dire che c’è una correlazione tra numero di kb scaricati e importanza che il motore di ricerca dà al sito web. Con la Search Console puoi individuare dei grafici che mostrano quanti kb vengono letti ogni giorno dal Googlebot, definendo appunto tutto questo come un indice del rapporto tra progetto e motore di ricerca. Un rapporto che devi migliorare.
Da leggere: come lavorare sul file htaccess
Il punto è questo: non devi operare per ottimizzare il crawl budget, che resta un semplice segnale, ma migliorare il lavoro che fai sul sito web e trovare in questo indicatore un riscontro. Quello che migliora il crawl budget accoglie il pubblico su un sito adeguato.
Ben sapendo che, in ogni caso, è Google a decidere cosa fare e come comportarsi. Ciò che puoi fare tu, nel tuo piccolo, è ottimizzare il percorso dello spider e comunicare le tue buone intenzioni come editore di contenuti. Vale a dire ciò che interessa veramente al motore.
C’è una risorsa messa a disposizione da Google per monitorare il crawl budget che ti viene assegnato: la Search Console. Questa postazione ha una sezione con le statistiche di scansione. Qui trovi tre sezioni: kb scaricati al giorno, pagine analizzate (direttamente proporzionale al primo) e tempo impiegato per quest’operazione.
Avere un numero di scansioni superiore a quello delle pagine è importante perché suggerisce una grande attenzione da parte di Google che cerca sempre novità. Inoltre quando ci sono delle importanti novità sul sito, tipo un cambio tema, Google effettua numerose scansioni determinando dei picchi nel grafico. Proprio come puoi vedere in alto.
In primo luogo devi sapere questo: sono gli aggiornamenti a fare la differenza. Pubblicare tanto richiama l’attenzione di Mountain View che passerà spesso sulle tue pagine. Lo stesso vale per gli aggiornamenti dei contenuti vecchi: il motore di ricerca trova sempre qualcosa di nuovo e mantiene alta l’attenzione nei tuoi confronti.
Altro aspetto decisivo per il crawl budget è la velocità del sito. Più è rapido nella risposta e meglio è perché il crawler lavorerà meno per scaricare la singola pagina e potrà dedicare più tempo a tutto il resto. Come vedrai nei prossimi paragrafi, questo è un concetto fondamentale per ottimizzare il crawl budget ma anche per rispettare il lettore.
Un altro aspetto da considerare, altrettanto importante, per migliorare il crawl budget. Devi fare in modo che lo spider non perda tempo in percorsi inutili e dannosi. Ciò che può diventare un problema per il crawl sono le pagine che danneggiano la qualità del sito:
Gli esperti SEO cercano di ottimizzare lavorando sul robots.txt e suggerendo cosa ignorare con il noindex. Senza andare in discorsi molto tecnici e specifici, una delle classiche pagine esonerate per risparmiare crawling è quella della cookie policy.
Non c’è solo questo a influenzare il crawl budget. Un aspetto importante riguarda la struttura del sito web e l’assenza di problemi in termini di scansione. La Search Console dà indicazioni su pagine non trovate, errori server, soft 404 e accesso negato. Assicurati di avere tutto in ordine: elimina errori strutturali, correggi link rotti e controlla che non ci siano downtime.
Da un lato il tuo sito deve essere pulito, utile e importante agli occhi di Google che deve decidere di investire tempo sulla tua risorsa. Dall’altro la presenza di buoni link in ingresso aiuta ad aumentare il crawl budget perché il sito acquista trust agli occhi del motore di ricerca.
E un blog, oltre a fornire contenuti nuovi con costanza, ha buone opportunità di ottenere link e menzioni che possono influenzare la considerazione che il motore di ricerca ha del tuo progetto.
Per approfondire: come indicizzare un sito web su Google
Il rapporto è molto stretto. Il tempo di risposta del server è uno dei fattori decisivi per determinare il crawl budget. Più in generale sono due i fattori che riguardano questo binomio:
Il bot deve scaricare nel minor tempo possibile e la qualità dell’hosting influisce questo parametro. Così come influenza la capacità del crawl di chiedere risorse.
Avere un buon hosting – con SSD, HTTP/2, Keep Alive e un buon uptime – vuol dire alimentare il crawl budget. Che, ti ripeto, non è lo scopo ma il mezzo: alla fine c’è sempre l’ottimizzazione del sito per favorire l’utente alla fine del tuo lavoro. Sei d’accordo? Lascia il tuo commento.
