Virtuelle Python Maschine?

4 Antworten

Mach es mit dem multiprocessing Modul und 10000 parallelen Requests!

Das schafft jeder Rechner und jede popelige DSL-Leitung.

Dann dauert es statt einer Woche nur noch ziemlich genau eine einzige Minute!

Mach ich auch immer so!

Viel Spaß! :)

PS: Nicht das multithreading Modul nutzen, wegen dem GIL! Das macht dir sonst die ganze Performance zunichte. Ab 1000 parallelen Verbindungen muss es das multiprocessing Modul sein!

Zum synchronisieren und füttern der herunter zu ladendenden URLs reicht eine queue völlig aus.

Wenn du allerdings nur von einem einzigen Server runterlädst, verzichte lieber auf Parallelität. Das wird sonst evtl. als Angriff missverstanden.

Woher ich das weiß:Berufserfahrung

Das problem ist, dass ich Aktien Kurse brauche. Die muss ich halt zwingend in einem bestimmten Zeit abstand beziehen

1

naja, du erzeugst aber traffic

ein webserver ist auch ein miggriger proßess der nur dateien verteilt .

Hol dir nen raspberry Pi und lass den laufen.

Ich kenne leider keine solchen Webdienst.

Bei einigen Cloudanbietern gibt's Free Tiers, etwa AWS:

Das kostenlose Kontingent von AWS umfasst 750 Stunden Linux und Windows t2.micro-Instances, ( t3.micro für die Regionen, in denen t2.micro nicht verfügbar ist) jeden Monat für ein Jahr. Um innerhalb des kostenlosen Nutzungskontingents zu bleiben, verwenden Sie nur EC2-Micro-Instances.

https://aws.amazon.com/de/ec2/pricing/

Oder auch bei Google: https://cloud.google.com/free/docs/gcp-free-tier?hl=de

Was möchtest Du wissen?