Wie muss meine Robots.txt aussehen?

...komplette Frage anzeigen

2 Antworten

Bei der Sitemap kannst du dann entsprechend auch deine Sitemap eintragen. Wenn du noch keine hast, kannst du die einfach über ein Plugin generieren lassen und dann eintragen. Yoast SEO zum Beispiel hat eine Sitemap enthalten.

Ansonsten ist die Robots.txt in Ordnung. Du musste halt auch ein bisschen selbst wissen was du sperren willst und was nicht. 

Antwort bewerten Vielen Dank für Deine Bewertung

Hi,

bei Wordpress sieht meine so aus:


User-agent: *
Disallow: /wp-admin/
Disallow: /?s*
Disallow: /details/
Disallow: /wp-register.php
Disallow: /wp-login.php


wobei die /details/ etwas individuelles bei mir sind und du nicht brauchst. Rest ist Standard.

Antwort bewerten Vielen Dank für Deine Bewertung

Was möchtest Du wissen?