Was wäre die beste Sprache um Daten so schnell wie möglich von Websites zu scrapen?
Klar gibt es da viele Möglichkeiten und sowas geht auch easy in Python, aber sagen wir es gibt 1.000 Websites wo das Script daten von Scrapen soll und lokal abspeichern soll und das so schnell wie möglich, welche Sprache wäre am besten? C oder?
2 Antworten
C kann sicherlich sehr schnell sein, aber es ist eine niedrigere Programmiersprache und eignet sich nicht gut für Web-Scraping-Aufgaben. Python ist eine gute Wahl für Web-Scraping, weil es eine sehr leistungsstarke Sprache mit einer Vielzahl von Bibliotheken wie BeautifulSoup und Scrapy ist, die speziell für Web-Scraping entwickelt wurden.
wenn du auf Geschwindigkeit und Effizienz achtst und mit Python vertraut bist, ist es wahrscheinlich die bessere Wahl
Die Frage ist nicht was die beste Sprache ist, sondern was die beste Library ist. Und für Python gibt es ziemlich gute wie z.B. BeautifulSoup.
Aber auch für JavaScript/Node gibt es seht gute Optionen wie Cheerio.
Wenn du extrem viele Seiten schnell scrapen willst, kann es sein, dass JavaScript eine bessere Performance bietet, da es besser für asynchrone Aufgaben optimiert ist.
1000 Webseiten ist allerdings nicht viel. Da ist es egal was du verwendest. Viel wären 1000 Seiten pro Sekunde, aber ich glaub nicht dass du das vor hast.