Calcula tu inversión en marketing en 2 minutos Pruébala gratis
¿Hablamos?

¿Hablamos?

robots.txt

¿Qué es el archivo robots.txt y cómo usarlo correctamente para SEO?

📌 Introducción

El archivo robots.txt es uno de los elementos más simples pero más poderosos dentro de una estrategia técnica de SEO. Mal configurado puede bloquear completamente tu sitio en buscadores. Bien optimizado, puede ayudarte a mejorar el rastreo, ahorrar presupuesto de crawl y proteger recursos sensibles. En este artículo te explicamos:

  • Qué es y para qué sirve robots.txt.

  • Cómo se crea y se estructura correctamente.

  • Dónde se sube en un servidor (Plesk o cPanel).

  • Ejemplos optimizados para WordPress, PrestaShop, Magento y Shopify.

🔍 ¿Qué es el archivo robots.txt?

Es un archivo de texto plano que se ubica en el directorio raíz de tu sitio web (https://tusitio.com/robots.txt) y sirve para indicar a los robots de los buscadores qué partes del sitio pueden o no pueden rastrear.

💡 Importante:

  • No bloquea la indexación de URLs directamente (para eso se usa la metaetiqueta noindex).

  • Ayuda a gestionar el crawl budget (presupuesto de rastreo), especialmente en sitios grandes.

  • Es esencial para proteger rutas internas o sensibles del rastreo innecesario.

⚙️ ¿Cómo se crea un archivo robots.txt?

  1. Abre un editor de texto (Bloc de notas, VS Code, Sublime…).

  2. Escribe las reglas según los User-agent (robots).

  3. Guarda el archivo como robots.txt.

Estructura básica:

txt
User-agent: *
Disallow: /ruta-privada/
Allow: /ruta-publica/Sitemap: https://tusitio.com/sitemap.xml

🧩 ¿Cómo subirlo en un servidor?

🔐 En Plesk:

  1. Accede a tu panel Plesk.

  2. Ve a Sitios web y dominios > selecciona el dominio.

  3. Pulsa en Administrador de archivos.

  4. Entra en la carpeta raíz (httpdocs o / si es el dominio principal).

  5. Sube el archivo robots.txt.

🔐 En cPanel:

  1. Accede al cPanel.

  2. Ve a Administrador de archivos.

  3. Dirígete al directorio public_html.

  4. Sube el archivo robots.txt y verifica desde https://tudominio.com/robots.txt.

🎯 Ejemplos de robots.txt optimizados

✅ 1. WordPress (con sitemap y bloqueo del backend)

txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /wp-json/Sitemap: https://tusitio.com/sitemap_index.xml

💡 Recomendado si usas plugins como Yoast SEO, Rank Math o All in One SEO.

✅ 2. PrestaShop (para ecommerce con filtros, parámetros y admin)

txt
User-agent: *
Disallow: /admin/
Disallow: /login
Disallow: /cart
Disallow: /order
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?search_query=Sitemap: https://tusitio.com/1_index_sitemap.xml

💡 Mejora el crawl evitando URLs duplicadas con parámetros innecesarios.

✅ 3. Magento (con optimización para recursos pesados)

txt
User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /admin/
Disallow: /catalogsearch/
Disallow: /index.php/Allow: /media/
Allow: /static/Sitemap: https://tusitio.com/sitemap.xml

💡 Magento genera muchas rutas técnicas: controla su rastreo para mejorar eficiencia.

✅ 4. Shopify (🔒 Limitado, pero se puede mejorar vía configuración avanzada)

Shopify no permite editar directamente el archivo robots.txt, pero desde 2021 se puede personalizar en los planes que acceden al theme.

Fragmento editable en Shopify 2.0:

liquid
{% if request.path == '/robots.txt' %}
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Sitemap: https://tusitio.myshopify.com/sitemap.xml
{% endif %}

💡 Shopify gestiona bien el SEO, pero aún puedes optimizar filtros y accesos vía ajustes de navegación.

🧠 Buenas prácticas SEO para el archivo robots.txt

  • ✅ Siempre incluir el sitemap.

  • ✅ Bloquea rutas sin valor para buscadores: carritos, logins, filtros dinámicos.

  • 🚫 No uses Disallow: / salvo que quieras desindexar todo el sitio (¡cuidado!).

  • ✅ Verifica en Google Search Console que está accesible.

  • ✅ Usa robots.txt Tester en GSC para probar reglas antes de aplicar.

📥 Herramientas para validar robots.txt

📌 Conclusión

El archivo robots.txt es una pieza clave en la arquitectura SEO técnica de cualquier web. No se trata de bloquear por bloquear, sino de optimizar el rastreo para que los buscadores lleguen antes a lo que realmente importa. Una mala configuración puede hacer desaparecer tu web de Google. Una buena puede ayudarte a posicionar más rápido y con menos esfuerzo.