wie kann ich daten von einer website runterladen jeden tag?
hab eien website da ändern sich die inofrmationen jede stunde
und man muss einen filter erstmal setzten bzw. so felder auswählen
wie geht das
3 Antworten
Ich nehme mal an, dass die Seite nicht dir gehört, oder? Falls doch, könntest du dir die Daten aus der Datenbank bzw. deinem JavaScript zuspielen lassen.
Da es vermutlich nicht deine Seite ist, könntest du einen Web Crawler wie Puppeteer verwenden. Das ist praktisch ein Bot, der die Seite besuchen und dir die gewünschten Daten zuspielen lassen würde. Musst du natürlich konfigurieren. Nach dem er dir die Daten anzeigt, kannst du sie weiterverarbeiten.
Die Methoden, mit denen man das macht, laufen unter dem Begriff web scraping. Um Dir dafür eine eigene Anwendung zu programmieren, musst Du erstens lernen, wie Du einen HTTP-Client baust, der die betreffende Webseite automatisch herunterlädt, und zweitens, wie Du aus dem HTML-Text der Seite die gewünschten Stellen findest und auswertest. Die Softwarebausteine, die dabei helfen, bietet heute jede gängige Programmiersprache an. Falls Die Webseite jedoch JavaScript einsetzt, und den gesuchten Inhalt erst im Browser aufbereitet, wird es viel komplizierter. Dann benötigst Du einen headless browser.
Wenn du noch keinerlei Hintergrundwissen hast wirds schwierig, aber kleiner Tipp:
Im Firefox kannst du unter Werkzeuge für Webentwickler die Laufzeitanalyse nutzen.
Aufnahme starten -> Filter setzen -> Abfrage abschicken
und dann in der Auswertung anschauen, welche Daten geschickt wurden.
Dort findet man dann auch schon vorgefertigte curl-Aufrufe mit den entsprechenden Daten.