Crawler zulassen aber wie?

3 Antworten

Bei Joomla hast du die Moeglichkeit, beim Artikel selbst, auf der rechten Seite, da wo du auch Author definieren kannst, robots zu definieren. Wenn du das Feld leer laesst, dann interpretiert das zumindest Google als "index, follow". Es kann sein, dass andere bots das weniger locker sehen. Zumindest solltest du da "teliad.de/textlinkstatuscrawler/2.0" reinkopieren.

6

danke, werde es testen

0

habe eine neue Antwort erhalten. Ich zitiere:

"vielen Dank für Ihre Mail. Unsere Ansicht nach ist das kein Problem der .htaccess bzw. robots.txt. Viel mehr gehen wir davon aus, dass es sich um eine nicht korrekt funktionierende Browserweiche handelt, da eine weitere Prüfung ergab, dass bspw. auch der MSN Suchbot eine weiße Seite sieht. Leider können wir Ihnen darüber hinaus auch nicht helfen."

Sprich, der Google-Bot, etc. kann meine Seite crawlen, mann kann sie sehen nur nicht deren Crawler.

19

Wenn sie meinen dass eine Browser-Weiche drinnen ist, würde ich das halt prüfen und schauen, ob irgendwo der UserAgent oder ähnliches abgefragt wird und eine andere Seite aufgeht!

0

Die Datei muss "robots.txt" heißen (Groß-/Kleinschreibung beachten!) und im Hauptverzeichnis Deiner Webseite liegen, üblicherweise also da, wo auch die index.html/-.php/-.asp o. ähnliches liegt!

Ich gehe mal davon aus, dass Du die Seite generell gerne in Suchmaschinen sehen würdest, was spricht also gegen ein allgemeines:

User-agent: *
Allow: /

Wenn die "robots.txt" nur das beinhaltet, wird allen die Indizierung aller Unterordner erlaubt, willst Du das weiter spezifizieren, weil manche Ordner nicht rein sollen oder Methoden, schau Dir das an: http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

Dann würde ich mir nocht die Meta-Tags Deiner Startseite ansehen, im Head-Bereich, vielleicht hast Du da die Indizierung untersagt und deren Programm ist so "freundlich" das auch zu beachten :D, siehe:

<meta name="robots" content="index,follow">

Ansonsten noch etwaige andre nützliche Meta-Angaben dazu, wenn Du schon dabei bist; sollte das nicht hilft, war es auch nicht Dein Problem!

Lg

6

steht bei mir im quelltext. Ist das nun gut oder hinderlich?

0
6
@wwf4life

-meta name="robots" content="index,follow"-

0
6

soll dieser meta tag so stehen oder nicht?

0
59
@wwf4life

Ja, so soll er stehen, wenn du alle bots zulassen willst.

0

Webcam im Browser blockieren?

Ich habe neulich im Internet gesurft und eine Website hat mich gefragt ob sie meine Webcam aktivieren können. Ich habe ausversehen auf "zulassen" gedrückt und frage mich jz wo ich das jetzt wieder blockieren kann ?

...zur Frage

Wann benutze ich PHP und wann Javascript?

Heyou liebe Communtiy!

Ich möchte mich im bereich Webentwicklung ein wenig schlau machen. Ich bin nun zu der Frage gekommen, wann ich PHP und wann Javascript einsetze. So wie ich das verstanden habe, benutzt man PHP Grundsätzlich, um die Daten vom Server zu holen, welche man dann mit Javascript weiter bearbeiten kann. Verstehe ich das so richtig?

Vielen lieben Dank im Voraus

Grüsse

Pfuffi

...zur Frage

Footer immer ganz unten vom Fenster anzeigen?

Guten Tag,

ich versuche grade den footer zu fixieren. Dabei möchte ich gerne, dass der footer immer ganz unten auf der Website angezeigt wird.

Ich möchte diesen nicht permanent unten eingeblendet haben, sonder auch das ggf. erst komplett die Website runter gescrollt werden muss.

Bei längeren Seiten ist das kein Problem, hat die Seite aber nur ein paar Inhalte, wird oft der footer in der Mitte angezeigt.

Ich habe es im css nur geschafft, den footer immer ganz unten anzeigen zulassen, wenn ich diesen unten fixiert hatte. So war oben immer die navbar, unten immer der footer und in der Mitte der Inhalt.

Ich möchte den footer aber immer ganz unten auf der jeweiligen Seite fixieren und nicht permanent unten Einblende.

Danke im Voraus :)

...zur Frage

IST HTML und/oder CSS eine Programmiersprache?

Hätte mich nur mal interessiert, ob diese Aussage so stimmt. Wenn nicht, wie könnte man sie dann bezeichnen?

Danke im Vorraus

...zur Frage

Fremde Bilder darf man mit <iframe> einbetten, wie ist es mit <img>?

...zur Frage

Was möchtest Du wissen?