Configurare robots.txt WordPress: disallow allow guida compelta

By  /  Seguimi su:            

Come configurare al meglio il file Robots.txt per WordPress: codici disallow e allow ecco la guida completa.

Come configurare e ottimizzare il file robots.txt per WordPress – Ecco la guida completa al file robots.txt di WordPress. Hai mai sentito parlare del file robots.txt e vuoi sapere come utilizzarlo per il tuo sito web WordPress?

In questa guida oggi trovi tutte le informazioni di cui hai bisogno per creare e configurare il file robotx.txt.
Iniziamo subito con la guida su come ottimizzare e configurare il file robots.txt di un sito web in WordPress.

Ecco qui la guida completa per configurare e creare il file robots.txt di un sito Web WordPress

Che cos’è il file robots.txt

Il file robotx.txt è il mezzo utilizzato dai web master per fornire istruzioni ai bot dei motori di ricerca (cioè, ai robottini che si occupano della scansione delle pagine web). Questo strumento si definisce Protocollo di Esclusione Robot (in inglese, Robots Exclusion Protocol).

Quando un bot inizia il processo di scansione di un sito web, il primo URL che visita è www.tuosito.com/robots.txt; qui troverà le istruzioni fornite dal web master.

Si può usare il file robots.txt per indicare ai bot di non effettuare la scansione di una o più pagine del proprio sito web. Questo è particolarmente utile se si hanno, per esempio, contenuti duplicati che potrebbero causare una penalizzazione da parte dei motori di ricerca oppure se vuole impedire ai motori di ricerca l’indicizzazione di particolari cartelle di WordPress come wp-admin per una questione di sicurezza o semplicemente per una questione di ottimizzazione in termini SEO.

Qui: WordPress sicurezza consigli e i migliori plugin di sicurezza per WordPress gratuiti da installare

Struttura del file robots.txt

Non tutti i siti hanno un robots.txt: se i bot non trovano alcun file, effettueranno la scansione di tutte le pagine. Questo accade anche se un file esiste ma non contiene alcun testo.

Se vuoi creare un file robots.txt per il tuo spazio web, aggiungi il file alla directory top-level del tuo server (in modo che i bot possano trovarlo visitando www.tuosito.com/robots.txt ).

La struttura base del file robots.txt è molto semplice; ecco un esempio:
User-agent: *
Disallow:

La prima riga serve ad indicare i bot a cui si desidera comunicare le istruzioni (in questo caso, il simbolo * indica “tutti i bot”).

La seconda riga, invece, si riferisce alle pagine/sezioni del sito web che non dovrebbero essere visitate dai bot (nell’esempio, nessuna perché manca: /).

Un file contente i codici qui sopra NON esclude, quindi, alcun bot o pagina del sito web dal processo di scansione. Se non vuoi consentire l’indicizzazione del tuo sito Web WordPress da parte di tutti i motori di ricerca, e quindi di tutti i file e cartelle che lo compongono, allora devi usare questo codice o struttura all’interno del file robots.txt:

User-agent: *
Disallow: /

Dove si trova il file robots.txt? Come creare un file robots.txt?

File robots.txt di solito risiede già nella root del tuo sito web (cartella pubblic_html). Sarà necessario connettersi al server remoto (hosting) del tuo sito web utilizzando un client FTP oppure usare direttamnete cPanel (pannello di controllo del tuo hosting).

Se non si dispone di un file robots.txt nella directory principale del tuo sito, allora si può sempre creare uno. Tutto quello che devi fare è creare un nuovo file di testo sul computer e salvarlo come robots.txt. Successivamente, è sufficiente caricarlo nella cartella principale del sito.

I codici da utilizzare o direttive del file robots.txt

Vediamo ora quali sono i codici che puoi utilizzare all’interno del file per fornire istruzioni ai motori di ricerca (in questa guida indico solo i codici fondamentali; per approfondire l’argomento, visita il sito ufficiale dedicato del Protocollo di Escusione Robot)

User-agent

Come abbiamo già visto questo campo serve ad indicare i bot specifici a cui sono indirizzate le istruzioni.
L’asterisco è utilizzato per indicare “tutti i robot”:

User-agent: *
Disallow:

Puoi anche indicare i nomi dei singoli user-agent (per esempio, se si vuole limitare l’accesso al bot di un particolare motore di ricerca). Visita questa pagina per trovare la lista dei nomi dei bot di tutti i motori di ricerca.

Quindi, se si desidera creare istruzioni specifiche per diversi user-agent, è possibile farlo in questo modo:

User-agent: nomebot
Disallow:
User-agent: *
Disallow: /latuacartella/

Disallow

Questa direttiva introduce la lista di pagine/sezioni che i bot non dovrebbero visitare.

Lo slash (/) sta per: “tutti i contenuti del sito”.

User-agent: *
Disallow: /

Quindi, il codice qui sopra servirà a bloccare tutti i bot e impedire l’indicizzazione.

Lasciare uno spazio vuoto, come vedi qui sotto, permette invece completo accesso (in quando non viene imposta alcuna restrizione).

User-agent: *
Disallow:

Directories (o cartelle)

Puoi impedire l’accesso a specifiche directory del server. Per farlo, è sufficiente indicare ciascuna directory (una per riga) dopo la dicitura Disallow:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Come ottimizzare il file robots.txt per la SEO

Vediamo, ora, se il file robots.txt può essere realmente utilizzato ed ottimizzato per la SEO.
Per iniziare, voglio fare un’importante distinzione tra l’attività di scansione (crawling) e quella di indicizzazione (indexing).

Il termine scansione si riferisce all’attività di analisi delle pagine web svolta dai crawler dei motori di ricerca. Questi robottini analizzano contenuti, link, ecc; e riferiscono le informazioni trovate ai server.
Indicizzazione indica, invece, l’inserimento degli URL delle pagine web nell’indice dei motori di ricerca.

Il file robots.txt del tuo sito Web svolge un ruolo importante in termini SEO. Esso permette in sostanza di comunicare con i motori di ricerca e far sapere loro quali parti del tuo sito dovrebbero essere indicizzate e quindi quali pagine, articoli e file devono essere visibili e consultabili tramite una ricerca sul web attraverso Google o altri motori di ricerca.

Qui trovi: Strategie SEO da evitare e Consigli SEO WordPress

Ho davvero bisogno di un file robots.txt?

L’assenza di un file robots.txt non impedirà i motori di ricerca di eseguire la scansione e l’indicizzazione del tuo sito web. Tuttavia è altamente consigliabile crearne uno per facilitare e rendere più veloce il processo di indicizzazione del tuo sito web.

Aggiunta della Sitemap XML al file robots.txt

Il file robots.txt può essere utilizzato anche per indicare ai bot la locazione della sitemap del proprio sito. Questo può essere fatto aggiungendo manualmente al file la seguente riga (personalizzata con le informazioni relative al proprio spazio web):

Sitemap: http://tuosito.com/sitemap.xml

Se si utilizza il plugin WordPress SEO by Yoast o qualche altro plugin per generare la sitemap XML, il plugin cercherà di aggiungere automaticamente le direttive necessarie relative alla Sitemap nel file robots.txt.

Ecco qui un esempio di File robots.txt idonea per qualsiasi sito web WordPress e ottimizzato per la SEO (base)

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Sitemap: http://tuosito.com/sitemap.xml

Modifica la prima riga codice sopra con “Disallow”se non vuoi indicizzare le immagini o file in genere del tuoi sito o blog WordPress (quindi anche pdf).

Conclusioni su: come creare il file robot.txt per WordPress

In questa guida hai imparato come creare e configurare un file robots.txt. e come ottimizzare un file robots.txt per la seo.

Il tuo sito WordPress ha già questo file? Quali configurazioni hai utilizzato? Se hai suggerimenti lascia un commento nell’apposito box in fondo oppure condivi sui social network questa guida sui file robots.txt se ti è piaciuta!


Condividi questo contenuto sui social

Sostieni anche tu Creare Blog e Siti Web Wordpress con una piccola donazione con PayPal!

Donazioni sicure con PayPal
come creare un blog Wordpress

Ideatore e fondatore di Creare Blog e Siti Wordpress. Consulente Wordpress per aziende e professionisti che desiderano promuovere i loro servizi o prodotti sul web attraverso un blog, sito web o ecommerce.

Estensioni per Woocommerce

Prendi subito le estensioni premium che ti servono ad ampliare le funzionalità del tuo ecommerce con Woocommerce usufruendo dello sconto del 30% solo per oggi!

WooCommerce

Page Builder Wordpress

Se stai impazzendo per capire come creare pagine web avanzate dall'aspetto grafico accattivante e coinvolgente è perchè non usi uno di questi strumenti!

Rispondi con un commento

  Segui i nuovi commenti  
Notificami
WooCommerce