Tutorial Robots.txt

Que son los Robots(spiders)

Los robots son programas que rastrean automáticamente toda la web y recuperan la información de los documentos de internet. Los motores de búsqueda como Google, Bing, Yahoo! entre otros, emplean robots para rastrear documentos web, con el objeto de presentar información clasificada de acuerdo a las consultas y/o busquedas realizadas en el motor de búsqueda.

Razones para utilizar el Archivo robots.txt

La mayoría de los robots habitualmente primero buscan el archivo llamado "robots.txt", que puede estar instalado por el administrador del servidor de cualquier sitio web. Puede haber razones por las que un webmaster desee excluir un robot en particular para que no pueda visitar su sitio. Un motivo muy común para realizar la exclusión se debe a la gran cantidad de ancho de banda que los robots consumen. Asimismo un webmaster también podria excluir la información sensible, imágenes u otros archivos.

Generando un Archivo robots.txt Para realizar exclusión Total

User-agent: *
Disallow: /

Pero rara vez un webmaster desearia excluir a los robots para que no puedan visitar un sitio entero. Lo usual es que un webmaster escribir un archivo robots.txt estructurado dando instrucciones a los robots, para que se mantengan alejados de determinadas zonas del servidor. Los webmasters pueden elegir que los robots para permitir o denegar. A continuación se muestran ejemplos de directivas de exclusión especificas dentro de un archivo robots.txt:

Archivo robots.txt Para realizar exclusión de información sensible

User-agent: *
Disallow: /tmp
Disallow: /logs
Disallow: /cgi-bin

Esta directiva "*" ordena a todos los robots sin excepción que no deben indexar las URL del sitio que empiezan con /tmp, /logs y / cgi-bin. esta directiva es la más utilizada porque ayuda proteger información sensible contra posible explotación de vulnerabilidades.