Archivo robot.txt

[ad#adconte-1]
Continuando con nuestra categoría de SEO me gustarí­a hablar de los robots de búsqueda y el archivo robot.txt.

Un robot de búsqueda, llamados también wanderers o spiders, son programas que buscan páginas en la web para indexarlas en los buscadores. Estos robots están automatizados y antes de acceder a las páginas de un sitio web buscan el archivo robot.txt para ver si existen páginas están restringidas.



El archivo robots.txt solo es necesario si tu sitio incluye contenido que no quieres que los motores de búsqueda indexen. Si quieres permitir la indexación de tu sitio por completo, el archivo robots.txt no es necesario.

El archivo robot.txt es muy necesario cuando tienes páginas o carpetas que no deseas que sean leidas por los robots de búsqueda.

El siguiente ejemplo muestra como negarle a los robots de google entrar dentro de la carpeta “images”

User-agent: Googlebot
Disallow: /images
Allow: /

A diferencia de este otro ejemplo en el que permitimos que todos los robots de todos lo buscadores lean todos nuestras páginas y carpetas.

User-agent: *
Allow: /

Para hacer un archivo robot solo necesitas poner los parámetros que desees dentro de un archivo de texto, guardarlo como robot.txt y este archivo subirlo al directo raíz de sitio.

también puedes encontrar muchas herramientas en línea que te ayudaran a generar y personalizar tu archivo robot, aquí te dejo una de ellas.

También te puede interesar

Comments