Robots.txt umgehen?
Hallo zusammen,
ich hätte da mal eine frage zur Robots.txt, welche schließlich auf fast jedem Server zu finden sind. Kann man die ungehen? Bei ein paar Sites steht dann ja sowas wie"User-agent: * Disallow: " und mich würde schon einmal interessieren, wie die einzelnen Unterverzeichnisse aussehen.
1 Antwort
Nein, kann man nicht.
Das liegt ganz einfach daran, dass es da nichts zu umgehen gibt.
Die Robots.txt ist keine Sperre oder ähnliches sondern eher ein "Vorschlag" für z.B. Crawler von Suchmaschinen und enthält einfach nur Angaben der Art "Hey du, wenn du dich XY nennst, dann sind die Inhalte unter /foo/bar für dich sowieso nicht interessant und würden dir nur deine Datenbanken mit unnützem Kram vollpumpen.".
An irgendetwas anderem.
Was das genau ist, darüber kann dir nur der zuständige Serveradministrator genauere Auskunft geben.
Es könnte z.B. sein, dass der Server dahingehend konfiguriert ist, den Zugriff auf diese Bereiche nur von bestimmten IP-Adressen (-Bereichen) zuzulassen.
Oder aber das Dokument unter /wp-admin existiert gar nicht und der entsprechende Eintrag in der Robots.txt wurde mit der Idee "Na mal sehen wie viele Doofköppe hier mit völlig ins Leere lauufenden Hackversuchen ankommen." angelegt.
Vielleicht ist der Server aber auch so konfiguriert, dass jeder, der die Robots.txt abruft temporär auf eine Blacklist für die genannten Unterseiten gesetzt wird.
Oder der Pfad für die WordPress-Administration wurde auf /awesdrftgzhujik geändert und der Eintrag soll Hackversuche ins Leere laufen lassen.
Oder es ist eine der hunderten und mehr anderen Möglichkeiten...
Achso. Aber alle wp-admin seiten werden auf Websites, bei welchen das unter disagree steht, verweigert. Woran liegt das?