1. Welche Seiten darf/kann die Suchmaschine DuckDuckGo alles anzeigen/ 2. Haben illegale Webseiten auch Endungen wie .org, .net, .com, usw?

... komplette Frage anzeigen

4 Antworten

1. Nur indexierte Seiten ...

http://www.ub.uni-bielefeld.de/biblio/search/help/invisibleweb.htm:

"Warum wird eine Internetseite nicht indexiert?

Auf die Internetseite führt kein Link
Die Indexierungsprogramme (Crawler) der Suchmaschinen können nur Internetseiten indexieren, die über einen Link erreichbar sind. Gibt es keinen Link auf die Internetseite, kann die Seite auch nicht indexiert werden, landet nicht im Index der Suchmaschinen und ist bei der Suche in dieser Suchmaschine nicht auffindbar.

Die Internetseite ist zu versteckt
Sehr umfangreiche Internetangebote besitzen oft sehr tiefe Hierarchien. Die Suchmaschinen-Crawler dringen aber nicht immer bis in die tiefsten Ebenen eines Internetangebots vor und so bleiben ihnen einige Seiten verborgen, auch wenn ein Link auf die Seite führt.

Die Internetseite ist zu aktuell
Manche Informationen sind schon in wenigen Stunden veraltet und nicht mehr zu gebrauchen (denken Sie an Börsenkurse, den Wetterbericht oder aktuelle Nachrichten). Suchmaschinen brauchen jedoch in der Regel ein paar Tage, bis sie eine neue Seite indexiert haben und diese über die Suchmaschine suchbar ist. Deshalb kann man hochaktuelle Informationen nicht in allgemeinen Suchmaschinen finden. Auch dieser Bereich bleibt also unsichtbar.

Die Internetseite darf nicht indexiert werden
Der Ersteller eines Internetangebots kann festlegen, welche Seiten von einem Suchmaschinen-Crawler nicht besucht oder nicht indexiert werden dürfen. Hält sich der Crawler an diese Vorgaben, bleiben ihm diese Seite verborgen.

Die Internetseite hat keinen Text
Suchmaschinen können nur den Text auf einer Seite indexieren. Grafiken, Musik, Filme und Animationen können z.B. nur durch die dazugehörigen Beschreibungstexte indexiert werden - häufig fehlen diese jedoch auf Internetseiten.

Die Internetseite hat zu viel Text
Sehr umfangreiche Internetseiten werden teilweise nicht vollständig indexiert. Alle Wörter, die hinter dieser Indexierungsgrenze liegen, werden nicht indexiert und können auch nicht gefunden werden.

Das Dateiformat ist unbekannt
Die gängigen Dateiformate (HTML-, Word-, Excel-, Powerpoint- und PDF-Dateien) können von Suchmaschinen indexiert werden, einige unbekanntere Formate jedoch nicht.

Die Internetseite ist nicht frei zugänglich
Viele Informationen sind nur nach Eingabe eines Passwortes oder nur innerhalb eines Netzwerks (Firma, Uni) zugänglich. Da ein Suchmaschinen-Crawler die Passwörter nicht kennt und von außerhalb des Netzwerks kommt, kann er die Seiten die hinter dieser Grenze liegen, nicht erreichen.

Inhalte aus Bibliothekskatalogen und Fachdatenbanken
Um eine Datenbank (z.B. unseren Bibliothekskatalog) zu durchsuchen, geben Sie i.d.R. Stichwörter in eine Suchmaske ein. Anschließend erhalten Sie das Suchergebnis auf einer Internetseite. Diese Seiten werden dynamisch erzeugt, d.h. sie sind nirgendwo gespeichert (stellen Sie sich vor, wie viele Seiten es geben müsste, wollte man alle möglichen Antworten auf alle denkbaren Suchanfragen einzeln speichern).
Wenn Sie eine Suche durchgeführt haben, können nur Sie die Seite mit der Trefferliste sehen - rufen Sie eine andere Seite auf oder führen Sie eine neue Suche durch existiert diese Seite nicht mehr.
Die Indexierungsprogramme der Suchmaschinen folgen nur den Links auf Internetseiten. Sie können keine Internet-Adressen selber eingeben oder Stichwörter in einer Suchmaske eintragen. Deshalb bleibt dieser Bereich für sie unsichtbar.

Warum wird eine Internetseite nicht angezeigt, obwohl sie indexiert wurde?

Die Seite wird aus formalen Gründen ausgefiltert
Inhaltlich identische Seiten (sogenannte Dubletten) erscheinen meist nur einmal in einer Trefferliste. Manchmal versagt allerdings diese Dublettenprüfung und die Internetseiten werden nicht angezeigt, obwohl sich die Inhalte unterscheiden.

Die Seite wird aus inhaltlichen Gründen ausgefiltert (Zensur)
In vielen Ländern - nicht nur in China - wird der Index der Suchmaschinen von rechtswidrigen oder einfach von "unerwünschten" Inhalten "gesäubert".

Der Suchmaschinenbetreiber löscht die Seite aus dem Index
Suchmaschinen sind große Wirtschaftsunternehmen. Bis auf gesetzliche Ausnahmen kann niemand einem Suchmaschinenbetreiber vorschreiben, was über den Index zu finden sein soll und was nicht. Inhalte können vom Suchmaschinenbetreiber aus dem Index gelöscht werden, wenn sich der Betreiber eines Internetangebots nicht an die "Spielregeln" hält und z.B. versucht durch falsche Angaben eine gute Platzierung in einer Trefferliste zu erreichen. Mittlerweile gibt es auch gesetzliche Regelungen, die Suchmaschinenbetreiber zwingen können, dass indexierte Seiten auf Anfrage aus einer Suchmaschine entfernt werden müssen (ob diese Anfragen tatsächlich berechtigt sind oder nicht, wird meist nicht geprüft).

Eingeschränkte Suchmöglichkeiten
Suchmaschinen bieten im Vergleich zu Bibliothekskatalogen oder Fachdatenbanken nur eingeschränkte Suchmöglichkeiten. Die Verwendung von Platzhaltern ist z.B. nicht möglich und die automaische Suche nach Wortformen funktioniert nicht immer wie gewünscht. Es kann sein, dass Ihnen eine Seite nur deshalb nicht als Treffer angezeigt, weil das Wort einfach anders geschrieben ist.

Zu viele Treffer
Kaum jemand schaut sich mehr als die ersten zwei Seiten einer Trefferliste in einer Suchmaschine an, d.h. maximal 20 Treffer. Die meisten Suchmaschinen zeigen maximal die ersten 1.000 Treffer an, auch wenn viel mehr gefunden wurden. Es können also niemals alle Seiten, die eine Suchmaschine gefunden hat, auch angezeigt werden und viele Treffer - auch solche mit passendem und qualitaiv hochwertigem Inhalt - gehen in der Trefferflut unter."

Antwort bewerten Vielen Dank für Deine Bewertung

2. Wie definierst du eine illegale Website? Es gibt ja schließlich auch Seiten, die dich ungeniert abzocken und die enden auch auf ".de" etc.

Antwort bewerten Vielen Dank für Deine Bewertung

Seiten im so genannten Deepweb enden auf .onion Darauf hast du aber nur mit einem Tor Browser Zugriff drauf.

Antwort bewerten Vielen Dank für Deine Bewertung

Egal ob legal oder illegal im deepweb haben alle Seiten (welche im normalen Web nicht sichtbar sind) keine endung wie die oben genannten.

Antwort bewerten Vielen Dank für Deine Bewertung

Was möchtest Du wissen?