Saltar al contenido

Archivo Robot.txt

23 septiembre, 2020

¿Qué es?Archivo Robot.txtSignificado y Definición

El archivo robots.txt es un archivo de texto colocado en el directorio raíz de un sitio web que instruye a los robots de los motores de búsqueda sobre las páginas que deben ser rastreadas e indexadas y las que no. Hay tres palabras clave (elementos) disponibles en el archivo robots.txt: User-agent, Disallow y Allow y la sintaxis que se les aplica es extremadamente simple. La palabra clave user-agent (robot del motor de búsqueda) define a qué robot se aplican las palabras clave Disallow y Allow. Google utiliza varios user-agents. Googlebot maneja el rastreo para la búsqueda de Google, y Googlebot-Image rastrea para la búsqueda de imágenes de Google. Normalmente, todos los user-agents se agrupan utilizando un comodín (asterisco) como en este ejemplo: User-agent: *
La palabra clave Permitir puede utilizarse para permitir el acceso a un subdirectorio bajo un directorio principal que ha sido desautorizado.
El orden y la sintaxis del archivo robots.txt es el siguiente:
Usuario-agente: [el nombre del robot al que se aplica la siguiente regla]
No lo admita: [la ruta URL que quieres bloquear]
Permitir: [la ruta URL en un subdirectorio, dentro de un directorio principal bloqueado, que desea desbloquear]

programaciónTambién podrían interesarte:
© Seobide 2019
Diccionario SEO Privacidad y términos Aviso legal Política de cookies