Edit History

Disallow

Utiliza esta directiva para indicar a los motores de búsqueda que no accedan a archivos y páginas que se encuentren bajo una ruta específica. Por ejemplo, si deseas bloquear el acceso de todos los motores de búsqueda a tu blog y a todos sus mensajes, el archivo robots.txt puede verse así:

User-agent: *

Disallow: /blog

si quieres bloquear toda la web, sencillamente ponla en mantenimiento