Frage von Quark14, 64

kann mir jemand mit einem guten Download Script helfen?

Hallo zusammen, ich habe ein kleines Problemchen, nämlich dass ich öfter mal auf einer Seite nach Material suchen muss um damit zu arbeiten. Das eigentliche Problem dabei ist, dass die Seite unglaublich dämlich aufgebaut ist, nicht richtig funktioniert und die Such-Funktion darauf, segen wir mal gelinde gesagt "suboptimal" ist!

Die Lösung war bisher, die Suche möglichst weit zu fassen, alles mögliche manuell runter zu laden (Praktikanten sei dank) und dann lokal zu ordnen und auszuwählen. Da sitzt ein Praktikant aber dann schon mal den ganzen Tag dafür

Lange Rede, kurzer Sinn: Ich würde gerne einmalig automatisiert alles von der Seite runter laden, dann kann der Praktikant die Zeit lieber damit verbringen es lokal vor zu sortieren und dann kann ich in Zukunft auf meine lokale und sortierte Kopie zurück greifen und muss mich nicht mit der dämlichen Seite rumschlagen.

Grundsätzlich sollte das relativ einfach sein, da die Download Links durchgehend das selbe, simple Schema haben:

abc.Seite.de/download/xyz/123456/

Es muss kein Download angestossen werden. lediglich der Link nach obigem Schema aufgerufen, der DL startet dann automatisch

Es sollte doch möglich sein, mit Hilfe eines einfachen Scripts hier alle Zahlen nacheinander anzuwählen und so alles runter zu laden... leider habe ich von Programmierung so absolut keine Ahnung, also beisst es da natürlich schon bei den einfachsten Sachen aus

Hat da jemand genug Ahnung dass er mir da mit einer einfachen Lösung helfen kann?

Antwort
von Jerimis, 46

Es gibt genügend Tools die ganze Websites herunterladen. 

zB empfiehlt Dr. Google das hier: http://www.chip.de/downloads/WinHTTrack_13008895.html

Aber wozu?

Du sagtest doch selbst das die Website woher du dein Material beziehst sehr schlecht aufgebaut ist.

Wäre es dann nicht viel schlauer sich nach einer anderen Website umzuschauen als einen "Praktikanten" die Sortierarbeiten zu überlassen was auch nur Zeit und Nerven kostet? 

Da könntest du doch genauso gut den Betreiber der eigentlichen Website kontaktieren und kostenlose Nachbesserungen anbieten damit in Zukunft alles besser und schneller abläuft.

Kommentar von Quark14 ,

Es gibt genügend Tools die ganze Websites herunterladen.

Ein solches Tool habe ich schon ausprobiert, das setzt aber voraus, dass auf der Seite ein direkter Link vorhanden ist, der Start des Downloads wird aber scheinbar von einem Script oder ähnliches gestartet (ich bekomme als "Link" in der Status Leiste des Browsers nur ein # angezeigt) und es wird zwar die Seite an sich runter geladen, aber nicht die entsprechenden Downloads

Aber wozu?

Weil ich das Zeug brauche und ich nicht jedes mal wieder auf der Seite, wenn ich was suche, ber das selbe unnütze Zeug stolpern will, das mir die Suchfunktion als Ergebnis liefert und das gut 95% Anteil ist. Wenn ich es runter lade, dann kann ich den Schrott löschen und muss mich damit nie wieder beschäftigen. Zudem klann ich dann auch schon vor sortieren was wofür in Frage kommt. Das muss ich dann nur ein einziges mal machen, und nich jedes mal wieder! Ich bin jetzt nach gestern heute schon den zweiten Tag damit beschäftigt, das ist vollkommen verlorene Zeit, die ich wesentlich besser nutzen könnte!

Du sagtest doch selbst das die Website woher du dein Material beziehst sehr schlecht aufgebaut ist.

Richtig! Deshalb geht ja so viel Zeit drauf und ich bekommen schlehcte Such Ergebnisse und muss jedes mal wieder die selben Sachen durchschauen, die alle nicht in Frage kommen. Wenn ich das lokal an meinem Rechner machen kann, dann kann ich nach eigenem Gusto sortieren und alles was ich nicht brauche einmalig löschen, dann geht es mir nie wieder im Weg um

Wäre es dann nicht viel schlauer sich nach einer anderen Website
umzuschauen als einen "Praktikanten" die Sortierarbeiten zu überlassen
was auch nur Zeit und Nerven kostet?

glaubst du, wenn es alternative Anbieter mit eqivalentem Material gäbe dass ich da nicht schon längst abgewandert wäre

Da könntest du doch genauso gut den Betreiber der eigentlichen Website kontaktieren und kostenlose Nachbesserungen anbieten damit in Zukunft alles besser und schneller abläuft.

Ich kann da gar nichts verbessern, das müssten schon die mt ihrer egenen Seite machen. Natürlich habe ich schon gesagt, dass ich mit dr Bedienung nicht zufrieden bin, aber die haben ihre Website erst Ende letzten Jahres komplett neu gemacht (warscheinlich für nicht gerade wenig Geld) und haben erst mal nicht vor das alles nochmal zu ändern, sie glauben dass es gut so ist, wie es jetzt ist

Kommentar von Jerimis ,

Wenn ich das richtig verstehe benötigst du etwas , das Frames sowie JavaScript ausführen und die resultierende Zieldateien abspeichern kann. 

Hm... Da wüsste ich im Moment keine dafür notwendige Software. 

Und ohne die Website Adresse selbst zu kennen, bezweifle ich das dir jemand ein "allgemein Script" zusammenbasteln kann das alles kann, das du benötigst. 

Und nein. Ich kann dir dabei wohl nicht weiterhelfen.

Viel Erfolg bei der Suche

Kommentar von Quark14 ,

Wenn ich das richtig verstehe benötigst du etwas , das Frames sowie JavaScript ausführen und die resultierende Zieldateien abspeichern kann.

Sogar noch viel einfacher, es muss nur eine Adresse aufgerufen werden und es mjuss mitgezählt werden und nach z.B. 1 sek. dann die nächste Adresse...

Antwort
von perhp, 29

Hallo, es wäre einmal hilfreich zu wissen, wie genau ein solcher Link auschauen würde, also einen richtigen Link posten und nicht nur ein Schema. Wenn ich es richtig verstanden habe, willst du alle Dateien downloaden mit einmal downloaden oder?

Meine Idee wäre folgendermaßen, du gehst in einer Schleife die ganzen Dateien durch, dabei ist zu beachten, ob jede Datei 6 Zahlen haben muss, und packst diese in eine zip Datei, die du dann downloadest.

Soweit die Theorie. In der Praxis wird die Umsetzung auch ein bisschen Recherche in Anspruch nehmen...

Kommentar von Quark14 ,

Hi,

nein, es muss nicht auf einmal runter geladen werden, die Dateien können auch alle einzeln nacheinander laden... Auf ein mal würde auch gar nicht funktionieren, weil der Anbieter natürlich jede Datei nur einzeln zur Verfügung stellt

Alle Dateien die ich bis jetzt gesehen habe sind alle 6-stellige Nummern, ja

Es muss im Übrigen, das fällt mit jetzt nochmal auf blöd ein, kein download durchgeführt werden, sondern es muss nur die Adresse aufgerufen werden, der DL startet dann automatisch.

Ich hatte mir das in etwa so gedacht, dass es nur ein Script sein müsste, das den entsprechenden Link aufruft, z.B. in ein iframe oder sowas, dann lädt die Datei und nach 1s wird die nächste nummer (also vorherige +1) aufgerufen usw... bei 6 stelligen Nummern dauert das natürlich eine ganze Weile bis da alles durch ist, das ist mur schon klar, aber ich könnte das Script ja in 20 Fenstern öffnen, dann würde in jedem Fenster je 50.000 Aufrufe stattfinden was dann "nur" 14 Stunden dauern würde alles durch zu probieren...

Ich stell mir also ein Script vor, das in einem Fenster die Adresse

abc.Seite.de/download/xyz/000001/ aufruft, danach dann die
abc.Seite.de/download/xyz/000002/ usw.

in einem zweiten Fenster starte ich mit
abc.Seite.de/download/xyz/050000/ und nach 1 sek, kommt dann
abc.Seite.de/download/xyz/050001/ etc

in einem dritten Fenster also dann die
abc.Seite.de/download/xyz/100000/ etc etc etc...

Wie gesagt, ich denke dass sowas eigentlich kein Problemchen sein sollte, daher hatte ich gehofft, dass jemand hier das mit ein paar Code Zeilen relativ schnell und einfach lösen können sollte

Kommentar von perhp ,

Ja, diese Sache lässt sich viel einfacher umsetzen und sollte kein allzu großes Problem darstellen. Ich kann dir, wenn du willst, am Wochenende mal drüberschauen. Einfach PN schreiben...

Antwort
von Malemeister, 32

Hallo,

konkret kann ich dir hier nicht wirklich helfen. Ich müsste schon die Links von der Seite sehen, um die es geht.

Unabhängig davon würde ich aber auch einen Programmierer für sowas beauftragen. Kostet zwar etwas Geld aber du bekommst ein Vernünftiges Script und auch die nötige Unterstützung.

Grüße

Kommentar von Quark14 ,

Ich müsste schon die Links von der Seite sehen, um die es geht.


wie gesagt: abc.Seite.de/download/xyz/123456/
Jede Datei hat hier nur eine andere 6 stellige Zahl. Da müsste also einfach nur "durchgezählt" werden

Kommentar von Malemeister ,

Also wird tatsächlich eine Datei heruntergeladen?! Bestimmtes Format? Welche Größe haben diese Dateien? Muss nach dem Download noch etwas mit denen geschehen (z.B. sortieren wie du es möchtest), usw.

Wie gesagt, hol dir jemanden der das kann. Wenn man etwas ordentliches haben will dann muss man dafür auch bezahlen.

Keine passende Antwort gefunden?

Fragen Sie die Community