Internet Speichern/Downloaden (Theorie und Praxis)?
Moin, mir ist klar das man NIE das ganze Internet Speichern werden kann. Alleine weil es sich von Moment zu Moment ändert und viele Daten nicht frei Zugänglich sind. (z.B. Password geschützte Bereiche).
Mir bleibt aber die frage, ob es möglich ist, das "Freizugängliche" Internet auf ein paar GB Größe zu speichern und sich anzeigen zu lassen. Mir stellt sich die Frage, weil es bereits möglich ist mit z.B. GPT4ALL ein Modul sich zu installieren das viel wissen hat, aber nur wenige GB groß ist.
Ich denke wir sollten die Theorie erstmal auf nur Websites minimieren, damit es einfacher zu verstehen bleibt und viele Probleme erstmal umgeht. Denke ich zumindest.
Danke im Voraus und bitte um Verständnis für meine LRS.
4 Antworten
Vögel – Wikipedia Simple Website, Wikipedia. Nehmen wir den HTML Code. Nur den HTML Code. CSS und JS außenvor.
Laut UTF-8 string length & byte counter (mothereff.in) sind wir bei 202,490 characters und 205,803 bytes. Jetzt ist das nur eine Seite. Wikipedia hat aber Millionen davon. Nehmen wir noch andere Hoster dazu, dann ist das eine Zahl der Unmöglichkeit. Das wird einfach zu groß und das ist nur der HTML Teil
nein. nicht mal ansatzweise möglich wegen Speicherplatzmangel. Noch dazu würde es ewig dauern. KIs wie chatgpt nutzen lediglich apis zu vorhandenen suchmaschinen. die offline versionen haben zwar viel wissen aber das ist nichtmal 1% der daten des internets.
Jede Seite des Internets ist bereits gespeichert auf ihrem jeweiligem Server. Ein Privatnutzer alleine hat aber eher nicht die nötigen Mittel um alles noch einmal redundant zu speichern.
Und wie sieht es aus, wenn mir das reicht, was ich als Output bekomme? Sprich einfach nur Statische Seiten raussuchen. Ich brauche keine Funktionen oder so, sondern nur die Möglichkeit, alle Seiten anzuschauen, wie ich sie auch aufrufen würde, ohne die Backend Technik.
(Hoffe es ist verständlich)
Auch dann nicht. Das ist unfassbar viel. Schon allein Youtube, Wikipedia, webarchive, etc. sind immens groß.
Das stimmt, aber ist es auch nicht möglich mit genügend Server Ressourcen das wie mit den KI Modulen zu Komprimieren?
Ne. Die Informationen bleiben ja dieselben, irgendwann kannst du nicht mehr weiter komprimieren.
70% des Internets sind das Deep Web , damit ( Server Daten),sind schonmal nicht erreichbar.
Für Webseiten gibt es das schon. Nennt sich wayback machine
Und ist es möglich nur die auf ein paar GB zu Komprimieren? So wie die Module von KIs? (Habe noch nicht so viel Ahnung davon)
Du kannst die Websites nicht auf kleinere Größen komprimieren, wenn sie 6GB groß ist , ist sie 6GB. Du kannst sie Indexieren dann hast du google.
Und KIs wurden mit Terra , wenn nicht sogar Petabyte Daten gefüttert.
Wäre es möglich eine Art KI zu Trainieren, die aber nicht zum Chatten ist, sondern als Suchfunktion dient und die Seiten dann zeigt?
Google selbst zeigt mir die Seite aber nicht, sie verlinkt die Seite nur. Vielleicht habe ich das ein bisschen blöd geschrieben.
Okay, die nicht mal 1% reichen mir erstmal. Wäre es mit den 1% den schon möglich?