Frage von Wissen321741, 23

Bot programmieren in Python 2?

Brauche ich einfach nur ein oder mehrere Schleifen? Und welche Module braucht man? Ich will ein Bot programmieren wie es solche auch in der Wikipedia gibt. Z.b. de.wikipedia.org/wiki/Lsjbot
P.S. Ich kann auch Python 3 sein, 2 wäre aber besser

Expertenantwort
von TeeTier, Community-Experte für programmieren, 5

Lass deine Anfragen auf jeden Fall parallel laufen! Ich lasse immer mit so knapp unter 10000 gleichzeitigen Verbindungen crawlen.

Damit schaffe ich das in 10 Sekunden, wofür ein Single-Thread-Bot fast 2 Tage brauchen würde!

Keine Ahnung, was genau dein Bot machen soll, aber du solltest auf jeden Fall die robots.txt beachten, und nach der DNS-Auflösung über die Server Buch führen, nicht dass du ein und denselben Server über mehrere Domainnamen quälst.

Ich gehe mal davon aus, dass du weißt, wie du HTTP-Requests absetzt, und das Ergebnis parst.

Guck dir auf jeden Fall die Multithreading und Multiprocessing Module an. HTTP, Entities, Parser, etc. versteht sich ja von selbst.

Viel Spaß! :)

Keine passende Antwort gefunden?

Fragen Sie die Community