Mediante el fichero robots.txt puedes limitar el acceso de bots de indexación en tu web, creando reglas para denegar el acceso a carpetas concretas, a todo el sitio web, a archivos determinados,La entrada Bloquear acceso a bots desde el archivo robots.txt apareció primero en El blog de Loading.
