El archivo robots.txt es uno de los elementos más simples pero más poderosos dentro de una estrategia técnica de SEOSEOSEO: siglas de Search Engine Optimization, optimización para buscadores. Es el conjunto de trabajos que hacen que una web aparezca en los resultados no pagados…. Mal configurado puede bloquear completamente tu sitio en buscadores. Bien optimizado, puede ayudarte a mejorar el rastreo, ahorrar presupuesto de crawl y proteger recursos sensibles. En este artículo te explicamos:
Qué es y para qué sirve robots.txt.
Cómo se crea y se estructura correctamente.
Dónde se sube en un servidor (Plesk o cPanel).
Ejemplos optimizados para WordPress, PrestaShop, Magento y Shopify.
robots.txt?Es un archivo de texto plano que se ubica en el directorio raíz de tu sitio web (https://tusitio.com/robots.txt) y sirve para indicar a los robots de los buscadores qué partes del sitio pueden o no pueden rastrear.
No bloquea la indexación de URLs directamente (para eso se usa la metaetiqueta noindex).
Ayuda a gestionar el crawl budget (presupuesto de rastreo), especialmente en sitios grandes.
Es esencial para proteger rutas internas o sensibles del rastreo innecesario.
robots.txt?Abre un editor de texto (Bloc de notas, VS Code, Sublime…).
Escribe las reglas según los User-agent (robots).
Guarda el archivo como robots.txt.
Accede a tu panel Plesk.
Ve a Sitios web y dominios > selecciona el dominioDominioDominio: nombre único con el que se identifica un sitio web en internet, alquilado por periodos a un registrador y asociado mediante el DNS a los servidores qu….
Pulsa en Administrador de archivos.
Entra en la carpeta raíz (httpdocs o / si es el dominioDominioDominio: nombre único con el que se identifica un sitio web en internet, alquilado por periodos a un registrador y asociado mediante el DNS a los servidores qu… principal).
Sube el archivo robots.txt.
Accede al cPanel.
Ve a Administrador de archivos.
Dirígete al directorio public_html.
Sube el archivo robots.txt y verifica desde https://tudominio.com/robots.txt.
robots.txt optimizados💡 Recomendado si usas plugins como Yoast SEOSEOSEO: siglas de Search Engine Optimization, optimización para buscadores. Es el conjunto de trabajos que hacen que una web aparezca en los resultados no pagados…, Rank Math o All in One SEOSEOSEO: siglas de Search Engine Optimization, optimización para buscadores. Es el conjunto de trabajos que hacen que una web aparezca en los resultados no pagados….
💡 Mejora el crawl evitando URLs duplicadas con parámetros innecesarios.
💡 Magento genera muchas rutas técnicas: controla su rastreo para mejorar eficiencia.
Shopify no permite editar directamente el archivo robots.txt, pero desde 2021 se puede personalizar en los planes que acceden al theme.
💡 Shopify gestiona bien el SEO, pero aún puedes optimizar filtros y accesos vía ajustes de navegación.
✅ Siempre incluir el sitemap.
✅ Bloquea rutas sin valor para buscadores: carritos, logins, filtros dinámicos.
🚫 No uses Disallow: / salvo que quieras desindexar todo el sitio (¡cuidado!).
✅ Verifica en Google Search ConsoleGoogle Search ConsoleGoogle Search Console: Google Search Console es la herramienta gratuita de Google que muestra cómo ve el buscador tu web: con qué consultas apareces, clics e i… que está accesible.
✅ Usa robots.txt Tester en GSC para probar reglas antes de aplicar.
robots.txtEl archivo robots.txt es una pieza clave en la arquitectura SEO técnica de cualquier web. No se trata de bloquear por bloquear, sino de optimizar el rastreo para que los buscadores lleguen antes a lo que realmente importa. Una mala configuración puede hacer desaparecer tu web de Google. Una buena puede ayudarte a posicionar más rápido y con menos esfuerzo.
267 términos
