Etiqueta Robots: En este caso se trata de una meta etiqueta que tiene como propósito personalizar el comportamiento de los robots cuyo trabajo es la indexación de páginas web en los motores de búsqueda. Es decir, con esta etiqueta, cada una de las páginas dentro de un sitio web, puede tener una declaración de meta etiqueta
diferente, de tal manera que es posible incluso definir de forma independiente, cómo se desea que se trate cada una de las páginas dentro del sitio. Básicamente con esta etiqueta se tiene un control total sobre lo que puede o no puede hacer un robot de indexación cada vez que visita una página web, incluyendo el permitir o no, la indexación de una página o incluso, seguir o no los enlaces contenidos en ella.
La meta robots es una metaetiqueta HTML que sirve para dar instrucciones a las arañas de los buscadores respecto al rastreo e indexación de la página web donde está implementada.
