Gibt es Möglichkeiten das Internet komplett ohne Suchmaschine zu durchsuchen?
z.b Mithilfe spezialisierter Scripte oder Software...
Ich suche nach einer oder mehreren Möglichkeiten, an die ich jetzt wahrscheinlich nicht denke, wie man das Internet möglichst systematisch nach Inhalten, durchsuchen kann. Ich benötige das teilweise für wissenschaftliche Recherchen aber auch für Anderes. Problem: Leider kommt man da mit den normalen Suchmaschinen nicht mehr weiter, da bei fast allen Suchanfragen eine mehr oder weniger strikte Content-Moderation bzw. Ergebnisbegrenzung zu existieren scheint. d.h anstatt der 61 Millionen Ergebnisse, die eigentlich existieren sollten, werden halt immer nur die 200 "relevantesten" angezeigt. Allerdings benötige ich für meine Recherchen einen möglichst ungefilterten Blick, ohne das eine solch zwischengeschaltete Instanz, Algorithmus oder Vorfilterung theoretisch dazwischenfunken kann. Ich möchte größere Social Media Plattformen aber auch kleine Webseiten und auf den mehr oder weniger sehr großen unsichtbaren Teil des Webs der ja leider mehr oder weniger unzugänglich gemacht wurde zugreifen. und nein ich spreche nicht vom "Darknet"...
Frage wäre ob es in der Richtung irgendwelche speziellen Ansätze (Software?) gibt, die tatsächlich etwas in der Richtung können oder sowas wie eine fortgeschrittene Echtzeit - Websuche auf URL, IP, Node, P2P oder sonstiger Basis durchführen und nicht nur irgendeine vorgefertigte Datenbank aufrufen.
Ich spreche von Lösungen mit denen anscheinend auch einige große Firmen, Ermittlungsbehörden oder Forschungsinstitute arbeiten.....
Irgendwelche Tipps oder Leute die sich mit der Thematik auskennen und da paar prof. Ansätze nennen können? (darf auch gerne kosten)
2 Antworten
Ohne Suchmaschinen müßtest Du Dir die Datenbestände einer Suchmaschine selbst aufbauen - also im Grunde ihre Funktionalität mit crawler etc. pp. replizieren.
Davon abgesehen gibt es natürlich die Möglichkeit mehrere Suchmaschinen zu verwenden UND auch die entsprechenden Filteroptionen umfänglich zu hutzen.
Es sollte auch OSS-Implementierungen der meisten Komponenten eienr Suchmaaschine geben - wie gut die jeweils sind, sie mal dahingestellt.
Da Kernproblem bei einem umfangreichen Crawl ist eher die BAndbreite , Dauer und der Speicherplatz für die ganzen Daten.
Dauer juckt nicht (bin gerne bereit für eine Suche mehrere Stunden oder Tage Zeit zu investieren wenn sie dann dafür vollständigere Resultate liefert), Speicherplatz sollte ebenfalls kein Problem sein da ich die Anfragen nur temporär während der Crawling Durchläufe speichern möchte.
Das liegt meist nicht an den Suchmaschinen selbst, sondern deren Bedienung.
Gut, ist das schwer? Also das mit den Crawlern...