Gibt es Möglichkeiten das Internet komplett ohne Suchmaschine zu durchsuchen?
z.b Mithilfe spezialisierter Scripte oder Software...
Ich suche nach einer oder mehreren Möglichkeiten, an die ich jetzt wahrscheinlich nicht denke, wie man das Internet möglichst systematisch nach Inhalten, durchsuchen kann. Ich benötige das teilweise für wissenschaftliche Recherchen aber auch für Anderes. Problem: Leider kommt man da mit den normalen Suchmaschinen nicht mehr weiter, da bei fast allen Suchanfragen eine mehr oder weniger strikte Content-Moderation bzw. Ergebnisbegrenzung zu existieren scheint. d.h anstatt der 61 Millionen Ergebnisse, die eigentlich existieren sollten, werden halt immer nur die 200 "relevantesten" angezeigt. Allerdings benötige ich für meine Recherchen einen möglichst ungefilterten Blick, ohne das eine solch zwischengeschaltete Instanz, Algorithmus oder Vorfilterung theoretisch dazwischenfunken kann. Ich möchte größere Social Media Plattformen aber auch kleine Webseiten und auf den mehr oder weniger sehr großen unsichtbaren Teil des Webs der ja leider mehr oder weniger unzugänglich gemacht wurde zugreifen. und nein ich spreche nicht vom "Darknet"...
Frage wäre ob es in der Richtung irgendwelche speziellen Ansätze (Software?) gibt, die tatsächlich etwas in der Richtung können oder sowas wie eine fortgeschrittene Echtzeit - Websuche auf URL, IP, Node, P2P oder sonstiger Basis durchführen und nicht nur irgendeine vorgefertigte Datenbank aufrufen.
Ich spreche von Lösungen mit denen anscheinend auch einige große Firmen, Ermittlungsbehörden oder Forschungsinstitute arbeiten.....
Irgendwelche Tipps oder Leute die sich mit der Thematik auskennen und da paar prof. Ansätze nennen können? (darf auch gerne kosten)