# robots.txt fuer http://www.laurenzi.de/
# Anleitungen und Regeln finden Sie am Ende des Dokuments

User-agent: *
Disallow: /css/
Disallow: /js/


# Hier steht der Linkverweis fuer die XML Sitemaps
Sitemap: http://www.rhein-verlag.com/sitemap.xml

# Disallow:/
# Gesamte Präsenz soll nicht gecrawlt werden

# Disallow: /*?
# Seiten, die ein Fragezeichen in der URL enthalten, sollen nicht gecrawlt werden

# Disallow: /verzeichnis/
# Allow: /verzeichnis/datei.htm
# Crawle verzeichnis nicht ausser datei.htm

# Disallow: /*.doc$
# Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden

# Disallow: /*?
# Allow: /*?$
# Alle Dateien nicht crawlen, die ein Fragezeichen enthalten. 
# Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden

# Disallow: /nein*/
# Alle verzeichnisse die mit nein beginnen ( /neinsagen/, /nein-meinen/ etc.) vom Crawling ausschliessen