Browser per CMD / Shell starten und Links ansurfen?
Hey,
folgende Frage:
Und zwar würde ich gerne meinen Browser per Konsole mit einer Art Batch Script starten und dann auf meinem Server eine Liste bestimmter Webseiten(verzeichnisse) abarbeiten. Wie das vom Prinzip funktioniert hab ich bereits herausgefunden. Das Problem ist, dass er bisher immer wieder neue Tabs öffnet oder ich muss mit der Brechstange nach jeder Webseite den Browser per taskkill beenden.
Was mich nun interessieren würde wäre ob es eine einfache Möglichkeit gibt das in einem Rutsch bzw. Fenster zu erledigen? Also es sollen einfach verschiedene der Links hintereinander mit definierbaren Zeitabstand geöffnet (geschlossen) werden. Ich habe diesbezüglich zwar schon länger im Netz recherchiert aber noch nicht wirklich Hilfreiches gefunden...
In einem weiteren Prozess möchte ich es dann gerne so gestalten, dass eine Seite geöffnet wird, dann soll ein bestimmtes PHP-Script ausgeführt werden und erst wenn eine Abfragemeldung gekommen ist, dass das Script fertig geparsed hat soll die Shell den nächsten Link öffnen. Der ganze Vorgang sollte nicht länger als 10-15 Sekunden dauern und sich automatisch mit dem nächsten Link wiederholen.
Gibt es hier irgendwer, der sich mit dem Thema auskennt?
Wäre dankbar für Hilfestellungen...
2 Antworten
Wenn du lediglich den Response zu jeder URL auswerten möchtest, genügen GET-Requests (bspw. via cURL, gibt es auch als integriertes Modul in PHP). Der Browser braucht dafür nicht geöffnet zu werden.
Sollte es notwendig sein, das DOM zu parsen (also Inhalte, die erst beim Laden der Webseite im Browser oder später lesbar werden), wäre Selenium das passendere Tool zum Scraping. Optional kann man den Browser während der Ausführung auch ausblenden (headless mode).
Zu Selenium gibt es verschiedene Bindings (z.B. für JavaScript oder Python), für PHP kannst du diese externe Bibliothek (php-webdriver) verwenden. Oder du wechselst zu PowerShell und nutzt die .NET-Schnittstelle. Einen Artikel dazu findest du hier.
Wow :) Danke an den Community Experten. Ich hab mir den Link als Favorit gespeichert. Der ist gut und ausführlich geschrieben. Dieses NET. Schnittstellen habe ich zwar wirklich.
Puhh ganz schön kniffelig diese Frage.
Per CMD Konsole starten geht zwar.
Aber ich Arbeite ja auch mit Shell und dieses Windows PowerAutomate.
Aber ich Arbeite mit einem ganz anderen System.
Einen PHP Script zu schreiben ist für mich persönlich zu aufwändig und sehr komplex.
In C++ könnte ich dir es auch so zeigen, wie man die Seite also den Browser per Command starten lässt.
Und Zeitabstände müssen so programmiert werden wie es dort steht.
Code:
start iexplore.exe "http://domain.de/datei.php"
Die Komplette Konsole findest du aber hier :)
https://www.softwareok.de/?seite=faq-Windows-Console&faq=36
ich hoffe das beantwortet dir deine Frage.
In C++ gerne. PHP-Script muss keins geschrieben werden, sondern lediglich 1 über die Konsole gestartet werden und dann auf die Antwort des Programms gewartet werden.
Ich brauche auf jeden Fall den vollständigen sicht und auswertbaren Seitenquelltext, den ein normaler Nutzer der Webseite sieht. Gibt es bei Selenium irgendwelche Beschränkungen oder funktioniert das mit jeder Webseite?