¿Qué es el archivo robots.txt? en Posicionamiento SEO
Aprende para qué sirve y cómo crear uno para tu sitio web
En anteriores blogs hemos hablado del posicionamiento de las páginas web por Internet mediante la indexación en motores de búsqueda. Ahora bien, permitir el posicionamiento es una tarea de los administradores de páginas o sitios web. Por eso hoy vas a conocer sobre robots.txt un archivo de configuración de acceso a “bots” o agentes de motores de búsqueda que permite el posicionamiento de tu sitio web en Internet.
¿Qué es el archivo robots.txt?
Robots.txt es un archivo utilizado para configurar un estándar o Protocolo de Exclusión de Robots, es utilizado por los sitios web para permitir o denegar a los rastreadores web sobre qué partes pueden visitar o escanear.
Este archivo se debe de encontrar en la carpeta raíz de tu sitio web, por ejemplo:
https://mi-sitio-web.com/robots.txt
El contenido puede ser similar a esto dependiendo de los requerimientos del sitio web para ser rastreado por los bots:
User-agent: *
Allow: /
# Google adsbot
User-agent: AdsBot-Google
Allow: /
User-agent: GPTBot
Disallow: /
Sitemap: https://mi-sitio-web.com/sitemap.xml
Estructura General de un archivo robots.txt
User-agent: Indica para qué bot o motor de búsqueda aplica la regla.
*: El asterisco significa que es una respuesta donde aplica la regla para todos los bots.
Allow: Se trata de la regla que permite que un bot pueda acceder a la dirección o URL indicada.
Disallow: Se trata de la regla que permite que un bot no tenga acceso a la dirección o URL indicada.
/: Indica la ruta base de la página, sin embargo, se puede agregar otra ruta como por ejemplo: /wp-admin/
Sitemap: Es una ruta opcional, el mapa de sitio es la información donde se estructura todas las páginas que contiene el sitio y es utilizado para posicionamiento SEO.
Nombres de bots más comunes
Los nombres de usuarios bots más comunes de motores de búsquedas son las siguientes:
Bots de Google
Googlebot
Googlebot-Image (Bot para imágenes)
Googlebot-News (Bot para noticias)
Googlebot-Video (Bot para vídeo)
Googlebot-News (Bot para noticias)
Bots de Bing
Bingbot
AdIdxBot
BingPreview
MicrosoftPreview
Bots de Open IA
OAI-SearchBot
ChatGPT-User
GPTBot
Para aprender más sobre los Bots de Open AI, puedes visitar el post anterior: El Rastreador Web de Open IA
Ejemplos de configuraciones de robots.txt
Bloquear todos los rastreadores del sitio
User-agent: *
Disallow: /
Bloquear el rastreo de una ruta específica
User-agent: *
Disallow: /wp-admin/
Bloquear el bot de imágenes de google
User-agent: Googlebot-Image
Disallow: /
Permitir que el bot de Google rastree el sitio web
User-agent: Googlebot
User-agent: AdsBot-Google
Allow: /
Permitir que el Bot de Bing rastree el sitio web
User-agent: Bingbot
Allow: /
Denegar el acceso a bots de inteligencia artificial
User-agent: GPTBot
Disallow: /
Permitir que los bots de IA rastree el sitio web
User-agent: GPTBot
Allow: /
Reglas básicas para crear un archivo robots.txt
Crear el archivo llamado robots.txt en la carpeta principal de tu sitio web.
Añadir las reglas de acuerdo a la estructura, así como en el ejemplo anterior y guardar.
Comprobar la creación del archivo robots.txt
Para comprobar la creación del archivo tienes que ir en la URL principal de tu página como en este ejemplo:
URL-PRINCIPAL + “/robots.txt“
https://el-dominio-de-tu-sitio-web.com/robots.txt
¡Listo!, podrás ver el contenido del archivo robots.txt con la configuración agregada.
Aquí unos ejemplos de configuración de robots.txt de páginas famosas:
Cloudflare
Shopify
Conclusión
Como ya se presentó, el archivo robots.txt forma parte de las configuraciones que se debe de realizar cuando se inicia una estrategia de SEO, esto se debe a que los agentes de los buscadores puedan escanear y finalmente indexar tu sitio web. Sugiero siempre revisar la configuración adecuada de los robots dependiendo del motor de búsqueda y también conocer los robots que no se quieren dar acceso para el escaneo del sitio web. Esto es parte de una serie de configuraciones para el posicionamiento de un sitio web.
Me interesa conocer tu opinión, suscríbete y deja tus comentarios.
¡Muchas Gracias! 🚀
