#User-agent: linkCheck # Datensatz betrifft linkCheck #Disallow: /de/prv/ # alle Seiten in /de/prv/ sind gesperrt #Disallow: /cgi-bin/ # /cgi-bin/ ist ebenfalls gesperrt # Leerzeile beendet Datensatz #User-agent: BadSpider # Datensatz betrifft BadSpider #Disallow: / # BadSpider hat Site-Verbot # # Leerzeile beendet Datensatz # # # # letzter Datensatz mit Platzhalter betrifft User-agent: * # alle nicht namentlich genannten Spider #Disallow: /de/prv/ # alle Seiten in /de/prv/ sind gesperrt Disallow: /cgi-bin/ # /cgi-bin/ ist ebenfalls gesperrt #Disallow: /verboten/ # hier darf niemand rein