Frage von FragendesWeb, 31

Robots.txt + Wordpress (meine 3. Robots-Frage) - Website Frage Nr. 7?

Hallo Commuity!

Noch eine weitere (3.) Frage zum Thema Robots.txt:

Wenn ich mir in meinem Wordpress-Backend mit SEO by YOAST meine Robtots.txt anschaue, sehe ich folgendes:

User-agent: Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

Fragen/Probleme: 1.: Ich habe diese Einträge nicht selbst angelegt 2.: Ist es wirklich so Problemlos möglich, daß das übergeordnete Verzeichnis "Disallow" ist, daß untergeordnete Verszeichnis "Allow" ? (Ich habe schon mal was von "Vererbung" gehört) 3. Ist es normal, daß keine anderen Verzeichnisse dort hinterlegt sind?

Anmerkung: Ich kenne eher so etwas:

User-agent: Disallow:

Danke für Eure Antworten!

das fragende Web ;-)

Hilfreichste Antwort - ausgezeichnet vom Fragesteller
von tDoni, 23

1) Ich sehe darin kein Problem, dass du die robots.txt nicht selbst angelget hast. Du hast ja Wordpress auch nicht selbst geschrieben.

2) Das geht schon so.

mit Disallow /wp-admin/ sperrst du das gesammte Verzeichnis unter wp-admin/. Das ist auch gut so.

mit Allow /wp-admin/admin-ajax.php gibst du diese eine Datei aus dem gesperrten Verzeichnis für die Suchmaschinen wieder frei.

Hier zählt die Anweißung, die als letztes kommt. Würde die Zeile Disallow /wp-admin/ am Ende kommen, würde sie die Regel für die "admin-ajax.php" wieder aufheben/überschreiben.

3) Meine robots.txt sieht genauso aus. (Eine Sitemap.xml ist noch hinterlegt)

Kommentar von FragendesWeb ,

Danköööööööö tDoni!

Ich frage mich nur, ob ich der Versuchung nachgeben soll, die Robots umzumodeln, um alles Freizugeben. Ichhabe nämlich ein wneig Probleme, Organisch gefunden zu werden und suche nach den Ursachen. Ich habe die Adresse der Sitemap in der Robots drin, hatte ich nur nicht veröffentlichen wollen!

Kommentar von tDoni ,

Wieso willst du die sitemap nicht veroeffentlichen? Die ist doch genau dafuer da, gefunden zu werden. So findet sie neben Google auch Bing, Yandex und die anderen Suchmaschinen. Ausserdem sind dort sowieso die veroeffentlichten Seiten zu finden.

Was meinst du mit "alles freiyugeben"?

Antwort
von Ralphus75, 15

Hey,

die gleiche Frage habe ich mich neulich auch gestellt.

Zudem kommt ja, dass der Google Bot mMn eigentlich garnicht in den Zugang der wp-admin-Schnittstelle kommt...

Auf eine Antwort/Lösung bin ich leider bisher auch noch nicht gekommen.

Grüße

Kommentar von FragendesWeb ,

Hallo Ralphus75 - Gut, daß ich nicht alleine bin, HeHe.

Keine passende Antwort gefunden?

Fragen Sie die Community