Bot programmieren in Python 2?

... komplette Frage anzeigen

1 Antwort

Lass deine Anfragen auf jeden Fall parallel laufen! Ich lasse immer mit so knapp unter 10000 gleichzeitigen Verbindungen crawlen.

Damit schaffe ich das in 10 Sekunden, wofür ein Single-Thread-Bot fast 2 Tage brauchen würde!

Keine Ahnung, was genau dein Bot machen soll, aber du solltest auf jeden Fall die robots.txt beachten, und nach der DNS-Auflösung über die Server Buch führen, nicht dass du ein und denselben Server über mehrere Domainnamen quälst.

Ich gehe mal davon aus, dass du weißt, wie du HTTP-Requests absetzt, und das Ergebnis parst.

Guck dir auf jeden Fall die Multithreading und Multiprocessing Module an. HTTP, Entities, Parser, etc. versteht sich ja von selbst.

Viel Spaß! :)

Antwort bewerten Vielen Dank für Deine Bewertung

Was möchtest Du wissen?