Comandos de búsqueda avanzada https://support.google.com/websearch/answer/136861?hl=es

• Base de datos de dorks http://www.exploit-db.com/google-dorks/
• http://www.hackersforcharity.org/ghdb/

Un archivo robot.txt es un archivo de texto sin formato en el cual se le indica a los buscadores que no muestren esa información.

Por ejemplo si queremos buscar páginas doc que no quieren que aparezcan indexadas hacemos la siguiente búsqueda avanzada (DORKS)

inurl:robots.txt filetype.txt

site:gmail.com ext:txt intext:"Disallow /" inurl:robots.txt