Webseiten werden von Suchmaschinen-Bots, sogenannten Crawlern, durchsucht und katalogisiert. Sucht man etwas bei einer Suchmaschine, kann die natürlich nicht spontan das gesamte Internet durchsuchen, sondern sucht nur in diesem Katalog, den man Index nennt.
Bei SEO (Search Engine Optimization) geht es vor allem darum, die Webseite so zu strukturieren und zu optimieren, dass der Index-Eintrag möglichst vorteilhaft ist, denn das erhöht die Chancen, bei entsprechenden Suchanfragen weiter oben in den Suchergebnissen zu erscheinen.
SEO besteht sowohl aus technischen, als auch redaktionellen Maßnahmen, um das zu erreichen.
Einmal ist aus technischer Sicht wichtig, dass die Crawler sich auf der Webseite zurechtfinden. Bevor Crawler loslegen, fragen sie bei Webseiten erstmal ab, ob es eine robots.txt-Datei gibt. Diese kann genutzt werden, um dem Crawler bestimmte Informationen mitzugeben, oder auch um ihm zu sagen, dass er diese Webseite ignorieren soll. Auf diesem Wege kann man den Crawler auch auf eine Sitemap hinweisen, sodass er direkt weiß, welche Seiten er durchlaufen muss.
Zudem helfen eine ordentliche HTML-Struktur und sinnvolle Metadaten (für Besucher unsichtbare Informationen im Website Code), damit der Crawler sich besser zurechtfindet und die Inhalte korrekt erfasst.
Dann gibt es eben noch den redaktionellen Teil, also die eigentlichen Website-Inhalte. Da muss man sich etwas damit beschäftigen, was die Suchmaschinen gerne an Inhalt sehen möchten. Es hilft zum Beispiel oft, wenn jede Seite einer Website sich einem bestimmten Thema widmet, das sich um eine Handvoll Schlüsselbegriffe dreht, die auch immer wieder mal im Text und in Überschriften auftauchen. So kann der Crawler gut erkennen, was wirklich das Thema ist und das korrekt im Index vermerken. Wenn man zu viel durcheinanderwirft oder auch einfach zu vage ist, dann kann das dazu führen, dass sich keine klare Linie erkennen lässt.
Hier kommen auch wieder die zuvor erwähnten Metadaten ins Spiel. Man kann direkt, unsichtbar im HTML, Infos wie eine Kurzbeschreibung der Seite und eine Liste an Schlüsselwörtern definieren. Die werden dann auch teilweise in den Suchergebissen im Vorschautext verwendet - aber nur, wenn die Suchmaschine den Eindruck hat, dass die Metadaten auch zum Inhalt der Seite passen. Wenn die angegebenen Schlüsselwörter gar nicht auf der Webseite auftauchen, dann hilft das natürlich nicht dabei, die Suchmaschine davon zu überzeugen, dass genau diese Seite die besten Informationen zu diesem Thema liefert.
Zusammengefasst geht es bei SEO also darum, einerseits gute Inhalte und Informationen auf der Webseite zu haben, diese aber auch für die automatisierten Crawler zugänglich zu machen. So kann die Webseite korrekt erfasst werden und die Chance auf eine bessere Positionierung in den Suchergebnissen erhöht werden.
Das ist zwar nicht direkt relevant für SEO, aber noch zur aktuellen Entwicklung bei Google im Speziellen:
Das ist die Theorie, so hat es viele Jahre funktioniert, und Google wurde zur erfolgreichsten Suchmaschine, weil Google immer versucht hat, die Suchergebnisse zu finden, die dem Nutzer am besten weiterhelfen. Nun scheint sich Google aber lieber mit einer KI zu beschäftigen, die permanent gefährliches Halbwissen von sich gibt, in der Hoffnung, dass die Nutzer gar nicht erst auf ein Suchergebnis klicken, sondern bei Google bleiben, wo Werbeanzeigen ausgespielt werden können. Und weil Aktionäre heutzutage "Engagement" ganz toll finden, also deine Aufmerksamkeit und Lebenszeit. Daher scheinen sich Google und andere Webseiten vor allem darauf zu konzentrieren, dich möglichst lange irgendwie zu beschäftigen. Ich habe das Gefühl, dass die Qualität der Suchergebnisse bei Google in den letzten Monaten und Jahren nachgelassen hat, und sich Google langsam eher zu einem Konkurrenten von Website-Betreibern entwickelt, indem sie eben die KI mit den Website-Inhalten füttern, aber gleichzeitig versuchen, die Nutzer bei sich zu halten, sodass man als Website-Betreiber selbst weniger User und Klicks abbekommt.