Hallo. Wie genau muss das mit den Befehlen für Suchmaschienen aussehen. Habe gehört das man denen sagen kann was die z.B. durchsuchen dürfen und sowas.. Könnt ihr mir helfen?
2
Befehle für Suchmaschienen schreiben
Frage von
Darkness2009
Darkness2009 Antworten (2)
-
3Hilfreichste Antwort ausgezeichnet vom FragestellerAntwort von
AlpacinoAlpacino
Hallo Darkness! Auch wenn einige Leute mal wieder schwachsinn posten (Gott weiß warum xD) wollen wir dir mal helfen ;) Also die besagte Datei heißt robots.txt und muss im Hauptverzeichniss abgelegt werden. (also unter http://www.blabla/robots.txt zu finden sein) Es gibt verschiedene Befehle für die Robots. Die wichtigsten sind Disallow:(verbieten) und allow(erlauben) Du kannst jede einzelne Seite/ordner erlauben oder verbieten. Wenn du möchtest das alles gescannt oder nicht gescannt wird einfach
User-Agent: * allow: /
oder User-Agent: * disallow: /
Weitere Infos gibts auf:
de.selfhtml.org/diverses/robots.htm
-
0Antwort von
wim50wim50
Wenn du das Durchsuchen einer Webseite meinst, findest du unter "robots.txt" alle notwendigen Angaben.
Kommentar von wim50wim50
Diese Frage
Danke :) Genau das was ich suchte!