File robots WordPress

By  /  Seguimi su:            

File robots WordPress: ecco come indicizzare un sito Web WordPress in modo corretto per evitare penalizzazioni in termini di posizionamento sui motori di ricerca

File robots WordPress: ecco la mia guida su come scrivere il file robots.txt per indicizzare al meglio un sito WordPress! Vuoi sapere come indicizzare un sito web con WordPress? Scopri allora come creare un file robots.txt per WordPress in modo corretto per indicizzare al meglio il tuo sito web senza subire penalizzazione nel posizionamento sui motori di ricerca.

Un’importante operazione SEO da fare per favorire la corretta indicizzazione del tuo sito WordPress è quella di creare il file robots.txt. Questo file serve a comunicare ai motori di ricerca quali sezioni del tuo sito devono indicizzare. Infatti, di solito non tutte le pagine di un sito vanno indicizzate e, soprattutto, sono da evitare i contenuti duplicati perché potrebbero comportare penalizzazioni nel posizionamento dei motori di ricerca.

Ma cosa significa indicizzare un sito web? E qual è la differenza tra indicizzazione e posizionamento?

Indicizzazione e posizionamento: quali sono le differenze

Spesso gli utenti del web si chiedono qual è la differenza indicizzazione e posizionamento.
Per indicizzazione si intende la segnalazione al Google e gli altri motori di ricerca dell’esistenza del tuo sito.
Si tratta di un’operazione che può essere svolta in modo automatico ed è piuttosto semplice da realizzare. Per indicizzare correttamente un sito web con WordPress devi eseguire questi due passi:

  • creare una sitemap
  • creare il file robots.txt

Il posizionamento di un sito web invece è la diretta conseguenza di un’attività di indicizzazione e di ottimizzazione On-Site del sito web.  Risulta ovvio perciò, che se vuoi ben posizionare il tuo sito WordPress su un motore di ricerca e fare in modo che risulti nella prima pagina dei risultati di ricerca di Google (SERP), non puoi prescindere da una buona ottimizzazione dei contenuti in termini SEO creati sul tuo sito (SEO On-Site) sia da una corretta indicizzazione. Ecco dunque fatta chiarezza sulle differenze sostanziali tra questi due termini.

Come creare un file Robots con estensione .txt su WordPress

In questa sezione ti spiego come creare il file roboto.txt per WordPress. Per creare il file robots.txt puoi adoperare un semplice programma di editing di testo (per esempio Blocco Notes) oppure procedere con l’installazione di specifici plugin SEO per WordPress che integrano la funzionalità di creazione del file robots.txt e della sitemap.xml in modo automatico.

Personalmente ti consiglio di installare di scaricare e installare il plugin SEO migliore per WordPress che è: All in One SEO Pack

Questo potente ed eccellente plugin non solo ti permette di ottimizzare in automatico i contenuti delle tue pagine e dei tuoi articoli per la SEO, ma in più, ti consente anche: di creare sitemap dinamiche del tuo sito WordPress per poi inviarle in automatico ai principali motori di ricerca; creare e gestire il file robots.text all’interno della bacheca di WordPress; ottimizzare le performance del tuo sito web ecc…

All in One SEO Pack Pro
All in One SEO Pack Pro il plugin SEO più completo per ottimizzare in ottica SEO i contenuti del tuo sito o blog WordPress e gestire tutte le fasi di indicizzazione dei tuoi articoli e pagine web per garantirti un buon posizionamento sui motori di ricerca.

Come scrivere un file robots.txt: User-Agent, Disallow e Allow

Il primo comando da inserire nel file robots.txt è User- Agent che ti serve per indicare a quale robot dei motori di ricerca ti riferisci (per esempio per Google è Googlebot programma automatico di scansione delle pagine web dei siti). Ti consiglio di non indicare un robot in particolare, ma di riferirti a tutti i motori di ricerca inserendo il valore “*” (asterisco).

La prima riga quindi del tuo file robots.txt sarà:

User-Agent : *

Passiamo adesso ai comandi del file robotx.text che servono a da dare ai robot (detti Spider) precisi istruzione quando vanno a scansionare le pagine e i file che compongono il nostro sito WordPress. I comandi che devi conoscere sono essenzialmente due:

  • Disallow (blocca): il comando principale che deve essere preceduto dal simbolo “/” e che serve ad indicare al robot di Google e degli altri motori di ricerca qual è il contenuto che non deve scansionare e che non deve indicizzare;
  • Allow (sblocca): questo comando al contrario del precedente indica al robot quale contenuto deve indicizzare sui motori di ricerca.

Le righe successive del file saranno dedicate per specificare agli Spider  quali cartelle contenenti i file del nostro sito non devono scansionate perché possono produrre contenuti duplicati (Fedd RSS, Trackback, commenti ecc…).

La tua domanda adesso sarà dopo tutte queste premesse, come si scrive il file robots.txt per un sito WordPress? E soprattutto quali istruzioni deve contenere il file robots.txt per indicizzare correttamente un sito creato con il CMS WordPress?
Per scoprirlo leggi il paragrafo successivo dedicato a questo argomento specifico.

File robots WordPress con estensione .txt

Se stai utilizzando un CMS (Content Management System) come WordPress è importante impedire l’indicizzazione dei file e delle cartelle di installazione e gestione di WordPress stesso, che sono comuni a tutti i siti web creati con questo CMS.

Ecco come scrivere il file robots.txt per WordPress CMS

Prima di esporti il file completo nella sua stesura, ti voglio argomentare i vari blocchi di istruzioni che andrò inserire e che faranno parte del file completo.
Il primo blocco di istruzione che introduco è quello relativo al blocco di indicizzazione delle cartelle contenenti file di installazione e più in generale quei file che servono per gestire il CMS WordPress:

Blocco indicizzazione file e cartelle di installazione e gestione WordPress

Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Ti consiglio di consentire l’indicizzazione delle immagini e dei media su WordPress (video e documenti), che sono inseriti nei tuoi articoli o pagine web statiche in modo da farle correttamente indicizzare da Google. Per fare ciò devi indicare nel file robots WordPress con estensione .txt la cartella di provenienza e utilizzare per la prima ed unica volta il comando “Allow” come segue:

Allow: /wp-content/uploads/

N.B.: se il tuo sito WordPress è stato creato per consentire il download di file protetti e riservati, allora non inserire questa istruzione! Proprio per evitare che file dei tuoi clienti vengano indicizzati ed essere reperibili su Google.

L’ultimo blocco di istruzioni per il tuo file robots WordPress con estensione .txt dovrebbe essere quello che impedisce l’indicizzazione dei contenuti duplicati causa forte penalizzazione da parte di Google e perdita di posizionamento nella SERP (pagina risultati del motore di ricerca).

Per non subire penalizzazione in termini di posizionamento e bloccare l’indicizzazione dei contenuti duplicati devi inserire questo blocco di istruzioni al tuo file robots.txt su WordPress che impedisce l’indicizzazione dei commenti, dei trackback e dei feed :

Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/

Se utilizzi poi un motore di ricerca interno per la ricerca degli articoli sul tuo blog o dei prodotti su Woocommerce se hai un e-commerce con WordPress, sempre per lo stesso motivo di prima, devi impedire che gli URL generati come risultati del motore di ricerca interno e corrispondenti a contenuti già esistenti, vengano indicizzati da Google. Per evitare questo ti basta inserire questo codice con il comando Disallow:

Disallow: /*?*
Disallow: /*?

Infine, devi anche bloccare l’indicizzazione degli archivi e delle categorie e dei Tag se li utilizzi attraverso l’aggiunta di queste istruzioni:

Disallow: /category/
Disallow: /tag/

Non ti resta ora che indicare nel file robots.txt l’indirizzo della Sitemap (elenco degli articoli e delle pagine web presenti nel tuo sito), utilizzando la forma classica sitemap.xml oppure la versione compressa sitemap.xml.gz:

Sitemap: http://www.tuositoweb.it/sitemap.xml

oppure

Sitemap: http://www.tuositoweb.it/sitemap.xml.gz

Siamo arrivati alla fine della stesura del file robots.txt e te lo presento adesso in forma completa qui sotto.
Ecco il file robots.txt per il tuo sito WordPress idoneo per una corretta indicizzazione su Google

Sitemap: http://www.tuositoweb.it/sitemap.xml
Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Allow: /wp-content/uploads/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Disallow: /category/
Disallow: /tag/

Dopo aver salvato il file di testo creato con Blocco Notes, lo dovrai caricare nella cartella Root principale del tuo spazio web, cioè nella cartella “Pubblic_html” oppure “Httpdocs” o ancora “WWW” a seconda del servizio Hosting WordPress che possiedi.

Se invece scarichi e installi il plugin consigliato All in One SEO Pack Pro tutto questo non sarà necessario perché riuscirai a gestire il tuo file robots.txt direttamente dalla bacheca di WordPress e ottenere altri potenti strumenti premium non disponibili nella versione gratuita molto utili per la gestione automatica della SEO su WordPress.

File robots WordPress con estensione .txt: ecco come scriverlo

Se ti interessa sapere quali sono i migliori servizi Hosting per WordPress dai un’occhiata a questi:
SitegroundFastcomet

Conclusioni su: File robots WordPress con estensione .txt

In questa guida su come creare il file robots.txt su WordPress hai imparato come scrivere il file robots.txt per WordPress CMS e ti ho indicato qual è il miglior plugin SEO per gestire tutte le fasi di indicizzazione del tuo sito WordPress in modo facile, veloce e automatico.

E tu come hai scritto il tuo file robots WordPress? Usi già All in One SEO Pack Pro per gestire  la SEO e l’indicizzazione del tuo sito WordPress? E soprattutto come ti trovi?

Se questa guida ti è piaciuta condividila sui social network con gli amici oppure lascia un commento se desideri ampliare la discussione sui file robots.txt e fornire così anche il tuo contributo alla nostra Community.


Condividi questo contenuto sui social

Sostieni anche tu Creare Blog e Siti Web Wordpress con una piccola donazione con PayPal!

Donazioni sicure con PayPal
come creare un blog Wordpress

Ideatore e fondatore di Creare Blog e Siti Wordpress. Consulente Wordpress per aziende e professionisti che desiderano promuovere i loro servizi o prodotti sul web attraverso un blog, sito web o ecommerce.

Estensioni per Woocommerce

Prendi subito le estensioni premium che ti servono ad ampliare le funzionalità del tuo ecommerce con Woocommerce usufruendo dello sconto del 30% solo per oggi!

WooCommerce

Page Builder Wordpress

Se stai impazzendo per capire come creare pagine web avanzate dall'aspetto grafico accattivante e coinvolgente è perchè non usi uno di questi strumenti!

Rispondi con un commento

  Segui i nuovi commenti  
Notificami
WooCommerce