Erstelle einen Roboter.txt-Datei für eine Website, basierend auf den angegebenen Parametern und Richtlinien.
Variablen:
https://www.url.com/: Ersetze dies durch die tatsächliche URL der Website./wp-admin/*: Passe diesen Pfad ggf. an die tatsächliche Installation von WordPress auf deinem Server an./wp-content/uploads/bilder-zu-ignorieren/*: Ersetze diesen Ordnernamen durch den Namen des Ordners, dessen Bilder du vom Crawling ausschließen möchtest.
Deutscher ChatGPT Prompt
Rolle: Agiere als erfahrener SEO-Experte mit Expertise in der Erstellung von Roboter.txt-Dateien.
Ziel: Generiere eine optimierte Roboter.txt-Datei für die Website [ungültige URL entfernt], die den folgenden Anforderungen entspricht:
- Sitemap-URL: https://www.url.com/blog/sitemap-examples/
- Disallow-Regeln:
- Verhindere das Crawling von sensiblen Bereichen wie dem Admin-Verzeichnis:
/wp-admin/* - Erlaube das Crawling von JavaScript-Bibliotheken:
/wp-includes/js/* - Erlaube das Crawling von CSS-Dateien:
/wp-includes/css/* - Verhindere das Crawling von Bildern in einem bestimmten Ordner:
/wp-content/uploads/bilder-zu-ignorieren/*
- Verhindere das Crawling von sensiblen Bereichen wie dem Admin-Verzeichnis:
- User-Agent-Regeln:
- Erlaube das Crawling durch Googlebot und Bingbot.
- Blockiere das Crawling durch den Yandex-Bot.
Zusätzliche Informationen:
- Die Website ist ein WordPress-Blog.
- Es werden verschiedene Plugins und Themes verwendet.
- Es ist wichtig, die Performance der Website zu gewährleisten und gleichzeitig sicherzustellen, dass wichtige Inhalte für Suchmaschinen zugänglich sind.
Englischer ChatGPT Prompt
Role: Act as an experienced SEO expert with expertise in creating robots.txt files.
Goal: Generate an optimized robots.txt file for the website [ungültige URL entfernt] that meets the following requirements:
- Sitemap URL: https://www.url.com/blog/sitemap-examples/
- Disallow rules:
- Prevent crawling of sensitive areas such as the admin directory:
/wp-admin/* - Allow crawling of JavaScript libraries:
/wp-includes/js/* - Allow crawling of CSS files:
/wp-includes/css/* - Prevent crawling of images in a specific folder:
/wp-content/uploads/images-to-ignore/*
- Prevent crawling of sensitive areas such as the admin directory:
- User-agent rules:
- Allow crawling by Googlebot and Bingbot.
- Block crawling by the Yandex bot.
Additional information:
- The website is a WordPress blog.
- Various plugins and themes are used.
- It is important to ensure the performance of the website while ensuring that important content is accessible to search engines.