Robots.txt

DEUSESFRITBR

Presentazione del file robots.txt

Il file robots.txt è un file di testo che contiene dei comandi destinati a dei robot di indicizzazione dei motori di ricerca per precisare loro le pagine che possono o meno essere indicizzate. Così ogni motore di ricerca comincia l'esplorazione di un sito web cercando il f robots.txt nel root del sito.

Formato del file robots.txt

Il file robots.txt (scritto in minuscolo e al plurale) è un file ASCII che si trova nel root del sito e contiene i seguenti comandi&mnsp;:

• User-Agent: precisa il robot interessato dalle direttive seguenti. Il valore * significa "tutti i motori di ricerca".
• Disallow: indica le pagine da escludere dall'indicizzazione. Ogni pagina o percorso da escludere deve essere su una linea a parte e cominciare con /. Il valore / da solo significa "tutte le pagine del sito".

Il file robots.txt non deve contenere nessuna linea vuota!

Ecco un esempio di file robots.txt :

• Esclusione di tutte le pagine :

  User-Agent: *
  Disallow: /

• Esclusione di nessuna pagina (equivalente all'assenza di file robots.txt, tutte le pagine sono visitate( :

  User-Agent: *
  Disallow: 

• Autorizzazione di un solo robot  :

  User-Agent: nomeDelRobot
  Disallow :
  User-Agent: *
  Disallow: /

• Esclusione di un robot :

  User-Agent: NomeDelRobot
  Disallow: /
  User-Agent: *
  Disallow:

• Esclusione di una pagina :

  User-Agent: *
  Disallow: /cartella/percorso/pagina.html

• Esclusione di più pagine :

  User-Agent: *
  Disallow: /cartella/percorso/pagina.html
  Disallow: /cartella/percorso/pagina2.html
  Disallow: /cartella/percorso/pagina3.html

• Esclusione di tutte le pagine di una cartella e delle sue sotto cartelle :

  User-Agent: *
  Disallow: /cartella/

Alcuni User-Agent

Ecco qualche esempio di User-Agent per i motori di ricerca più famosi :

Per ulteriori informazioni

The web robots page

Vedi anche

Community di assistenza e consulenza.

• Forum webmastering
• Forum Office software