Parsero: auditando robots.txt

Hoy vengo a traerles una herramienta para auditar el famoso protocolo que utilizan las webs para no dejarse ver por el buscador.

Este script desarrollado en Python, toma el archivo robots.txt que impide a los buscadores indexar ciertos path de la página y lo analiza, retornando cuáles son el estado de cada una de las entradas.

Herramienta fácil de utilizar y con la opción de buscar también los Disallow por el buscador de Microsoft, Bing.

Ya que muchos administradores creen que simplemente denegando el indexado desde aquí ya están seguros, es una buena herramienta para testearlos.

Mírenlo en funcionamiento:

Así que si no quieren tener problemas con Parsero, mejor que administren y bloqueen correctamente los controles de acceso.

El link a la descarga es: Parsero

 

Fuente: http://tutoriales-hacking.blogspot.com/2014/03/parsero-auditando-robotstxt.html