# robots.txt für harzer-nachrichten.de
#

# spidern bis auf einige Unterverzeichnisse zulassen
User-agent: *
Disallow: /CMS/
Disallow: /Müll/
Disallow: /TEST/

# unerwünschte Bots aussperren
User-agent: thesubot
Disallow: /