Skript für automatisiertes Herunterladen von HTML einer Webseite gesucht?

2 Antworten

Das Video ist toll und sollte von viel mehr Leuten gesehen werden ^^
Es macht deutlich, dass mit einer Menge Inhalt (Daten) sehr wohl eine Auswertung in jede Richtung möglich ist.

Er lädt nicht einfach den html der Seite runter, er zieht die Inhalte und speichert es in einer Datenbank. Das mehrmals, damit (und darum ging es ja ursprünglich) er eine Analyse anstellen kann, ob nachträglich Inhalte verändert werden.
Wir reden hier von einer Menge Daten, die er in vielen Monaten Arbeit gesammelt hat, 24/7/365 Tage lang.

 while sleep 60; do wget -N http://example.org; done