Evitar aparecer en Google

Evitar aparecer en Google y otros buscadores es útil en la etapa de desarrollo, si elegimos trabajar en línea.

Restringe el acceso a los rastreadores (Bots) donde sea necesario colocando 1 archivo robots.txt en el directorio raíz.

Cómo crear un archivo robots.txt

El archivo robots.txt más básico utiliza dos reglas:

User-Agent: el robot al que se aplica la siguiente regla

Disallow: la URL que quieres bloquear

Estas líneas se consideran una única entrada en el archivo. Puedes incluir todas las entradas que quieras, así como varias líneas Disallow y varios user-agents en una misma entrada.

User-agent: *
Disallow: /1eracarpeta/
User-Agent: Googlebot
Disallow: /2dacarpeta/

Puedes configurar una entrada para que se aplique a un robot específico especificando su nombre o para que se aplique a todos los robots usando un asterisco.

En este ejemplo, las únicas URL que no puede rastrear el robot de Google son las de /2dacarpeta/.

Si no deseas bloquear ningún archivo, puedes ahorrarte la creación del archivo robots.txt, se hace innecesario, ni si siquiera vacío.