Creare il file Robots.txt

Il file Robots.txt è un particolare file che contiene delle istruzioni dettagliate da comunicare agli Spider quando questi fanno visita al nostro sito.
Non servono particolari software per scriverlo ma bastera' il semplice Blocco Note di Windows e salvare il file con estensione txt (robots.txt).

Ma a cosa serve nello specifico?
Serve per escludere dall'indicizzazione eventuali file o cartelle e/o includere determinati contenuti del sito.
Quando parlo di escludere mi riferisco al fatto che i file e le cartelle escluse non verranno mai visualizzati nei risultati di ricerca.
Questi possono essere file o cartelle di dati sensibili, di cartelle di download, di cartelle con istruzioni speciali...e via dicendo.

Il file Robots.txt va' inserito nella directory principale del sito e non in altre cartelle!

http://www.miosito.it/robots.txt

Ora vedremo quali sono i comandi principali di questo file e poi vedremo un esempio di file Robots.txt:

User-agent = Specifica a quali Spider si rivolge. Per esempio lo spider di Google è Googlebot.
Disallow = Specifica di non includere nell'indicizzazione, cartelle e file
Allow = Specifica di includere nell'indicizzazione cartelle e file

Ecco allora un esempio di Robots.txt che, se pur includendo nell'indicizzazione tutti i contenuti del sito, dovrà escludere da essa le ipotetiche cartelle download e mieidati:

User-agent: *                  (Con asterisco si rivolge a tutti gli Spider)
Disallow: /download/    (Cartella da non indicizzare)
Disallow: /mieidati/       (Cartella da non indicizzare)

Se volessimo impedire allo Spider di Google di indicizzare le stesse cartelle scriveremo:

User-agent: Googlebot
Disallow: /download/
Disallow: /mieidati/

Se invece volessimo che nessuno Spider indicizzi i nostri contenuti scriveremo:

User-agent: *
Disallow: /

Il comando allow viene utilizzato molto poco in quanto quando si specifica User-agent: * si indica di includere tutto

Senza nome 1

Home page - Corso HTML base - Indicizzare un sito - Tutorial HTML - Area download - IIS Express - Aggiornare il sito con ASP

Indicizzare un sito
Vediamo come semplici modifiche possano portare benefici ai fini dell'indicizzazione.
12 lezioni facili su come intervenire.
>> Vai

IIS Express
Istruzioni base per utilizzare Internet Information Service per testare il sito prima della pubblicazione.
>> Vai

Aggiornare il sito con ASP
Aggiornare un sito non è mai stato così facile e così rapido.
Vediamo come fare utilizzando ASP.
>> Vai

Senza nome 1