# =================================== # robots.txt für https://fokus-afrika.de # Überarbeitet: 11.11.2025 # =================================== User-agent: * Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /wp-admin/ Disallow: /temp/ Allow: /wp-admin/admin-ajax.php # Sitemaps & Feeds Sitemap: https://fokus-afrika.de/sitemap_index.xml Sitemap: https://fokus-afrika.de/news-sitemap.xml Sitemap: https://fokus-afrika.de/feed/ # Externe Crawler ausschließen User-agent: WebReaper Disallow: / User-agent: WebCopier Disallow: / User-agent: Offline Explorer Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: EmailCollector Disallow: / User-agent: penthesilea Disallow: / # Externe Crawler einschließen User-agent: Googlebot-news Allow: /