# ===================================
# Generator: http://pixelfolk.net/tools/robots
# Erstellt am: 09.02.2021, 11:36
# Webseite: https://hexdev.de
# ===================================

Sitemap: https://hexdev.de/sitemap.xml

# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================

User-agent: *
Disallow: /semantic/
Disallow: /admin/
Disallow: /temp/
Disallow: /tmp/

# ===================================
# Schließe folgende Spider komplett aus:
# ===================================

User-agent: WebZIP
User-agent: ia_archiver
User-agent: archive.org_bot
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /