# robots.txt für romanjasiek.de (Theme v2.9.5, Stand 08.10.2026)
# Grundsatz: Suchmaschinen und KI-Suche/Assistenten dürfen lesen und verlinken,
# KI-Training ist unerwünscht.
# Wichtig: Ein Crawler folgt nur der Gruppe, die seinen Namen nennt. Regeln aus
# "User-agent: *" gelten für die benannten Gruppen NICHT und sind dort wiederholt.

# --- Suchmaschinen und alle übrigen Crawler ---
User-agent: *
Allow: /
Disallow: /ghost/
Disallow: /p/
Disallow: /members/
# Markdown-Fassungen und Volltext-Export sind für KI-Werkzeuge gedacht,
# nicht für den Suchindex (sonst doppelte Inhalte)
Disallow: /*.md$
Disallow: /llms-full.txt

# --- KI-Suche und Assistenten: dürfen lesen, verweisen mit Quellenlink ---
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /ghost/
Disallow: /p/
Disallow: /members/

# --- KI-Training: unerwünscht ---
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: cohere-training-data-crawler
User-agent: Diffbot
User-agent: omgili
Disallow: /

Sitemap: https://www.romanjasiek.de/sitemap.xml