Web Scraping: Beautiful Soup oder Selenium/Scrapy?

Ich will mir fix ein Python Script bauen, was alle paar Sekunden auf Amazon.com > PS5 geht und schaut, ob eine verfügbar ist.

Das Script wird dann auf einem Server 24/7 laufen.

Welches Framework eignet sich da am besten für?

1 Antwort

regex9

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Computer, Technik, Python

16.04.2022, 00:55

So wie ich das sehe, müsstest du lediglich prüfen, ob der Button auf der Webseite vorhanden ist, mit dem man das Produkt zum Warenkorb hinzufügen kann. Dieser hat die ID add-to-cart-button und wird schon mit dem ersten Response geliefert.

Mit scrapy sollte die Implementation am kürzesten und einfachsten sein.

Wenn du die BeautifulSoup-Bibliothek verwenden wolltest, müsstest du noch die requests-Bibliothek dazunehmen, um erst einmal den Response für die Produktseite zu erhalten.

Selenium lohnt sich erst (bzw. wird nur dann erforderlich), wenn du den Browser automatisiert steuern möchtest, weil Informationen bspw. nicht beim ersten HTTP Response zurückgegeben, sondern via JavaScript nachgeladen werden.

Carusla

Fragesteller

16.04.2022, 00:58

Das klingt solide, danke dir!

Darf ich dich mal kurz fragen, woher du dein ganzes Wissen hast mit nur 24 Stunden am Tag?

Ich stecke schon jede freie Minute rein, aber je mehr ich lerne, desto mehr wird es irgendwie?

regex9

16.04.2022, 01:17

@Carusla

Ja, es wird definitiv immer mehr, so entmutigend es auch klingt. Deswegen kann ich nur empfehlen, Fokuspunkte zu setzen, mit Präferenz darauf, was dich persönlich am meisten interessiert. Manche Themen muss man liegenlassen (wenn man sie braucht, hat das noch Zeit für später) oder kann sie nur anreißen.

Ich stecke einfach ziemlich tief im Bereich der Softwareentwicklung und nutze demzufolge viele Quellen (Blogartikel, Bücher, Newsseiten, andere Entwickler mit denen man sich ab und an austauscht, zahlreiche unterschiedliche Projekte, Videos von Vorträgen zu Thema XY, ...).

Ähnliche Fragen

Python Selenium button klicken?

from selenium import webdriver

file = 'chromedriver.exe'
driver = webdriver.Chrome(file)

driver.get('https://stin.to/MEIN CHAT ROOM HIER')
time.sleep(1)
button = driver.find_element_by_class_name('form-check-input')
button.klick()

Hey Community! ich habe an einem Selenium bot gebastelt, der sich in einen Chat Room einloggen soll, dabei soll aber ein button geklickt werden, und dann soll ein text eingegeben werden wie der benutzername lautet (habe das schon geschafft, steht aber hier nicht im code). bin zu faul das sonst immer zu machen deswegen tu ich es mit diesem script. aber es gibt mir einen fehler, vll könnt ihr es mal probieren und mir mit dem fix helfen. LG Max

...zur Frage

Python Web-Scraping Daten effektiv speichern?

Hallo liebe Community,

ich bin leider ein absoluter Anfänger im Bereich Web-Scraping, möchte mich allerdings gerne in nächster Zeit intensiv damit beschäftigen. Ich möchte die Daten einer Tabelle mit einem Python-Skript speichern. Diese Daten möchte ich ein Jahr lang sammeln und dann auswerten. In welcher Form kann ich die Daten am besten speichern, um sie am Ende des Jahres einfach auslesen und auswerten zu können? Sollte ich sie auf einer MySQL-Datenbank speichern, oder gibt es andere, bessere Wege, die Daten zu speichern?

...zur Frage

Was soll ich alles auf Fiverr anbieten (Jugendlicher, Programmierer)?

Hi.

Also ich würde ganz gerne etwas Geld verdienen, vor allem durch's Programmieren. Problem: Ich mache meine Mittlere Reife erst in 2 1/2 Jahren, da ich durch Corona und Inkomepetenz 2. mal eine Klasse wiederholen musste.

Mir wurde mal vorgeschlagen, mich auf Fiverr zu registrieren. Jetzt frage ich mich aber, was ich am besten anbieten sollte. Ich erzähl hier einfach mal, was ich schon so für Zeug gemacht habe, damit ihr wisst, was ich so kann.

Ich hab mit folgenden Dingen schon gearbeitet (also relativ intensiv):

Neuronale Netzwerke (relativ "neu") [Tensorflow, Python]
Minecraft Plugins [Spigot API, Java]
Webseiten (static und und dynamic) [HTML, CSS, JavaScript, Python/PHP/C++]
Automatisierungen (vor allem Webseiten) [Selenium, Python]
Scrapper [BeatifulSoup, Python]
Discord API (z.B. um Daten über User zu kriegen)
Discord Bots [Python und Java, von Scratch und mit Library]
MySQL Datenbanken [Python, C#]
SQLite Datenbanken [Python, C#, Java]
WinForms [C#]
WPF [C#]
REST API's (um genau zu sein eigene gemacht und die Discord API verwendet)
win32.dll [Python, C++, C#]
YouTubeDLL [Python]
Spotify API (z.B. zum Song wechseln, oder Song Daten anzufragen)

Als übersicht, ich "kann" folgende Programmiersprachen (ich weiß, HTML und CSS sind keine Programmiersprachen) [Sortiert nach Skill]:

Python
C#
Java
PHP
HTML/CSS/JavaScript <- Alles relativ gleich gut
C++ (Simple Sachen, wie Web Server)

Wenn man beachtet, was ich kann. Was würdet ihr mir zum anbieten, auf Fiverr, empfehlen?

Danke im vorraus und lg.

...zur Frage

Welche Programmiersprache für Hacking Tools?

Welche Programmiersprache eignet sich am besten für Hacking-Tools? Ich hab gesehen das die meisten Tools in C und Python geschrieben sind aber einige auch in Ruby oder Lua. Was eignet sich jetzt am besten für Hacking Tools bzw. Was sind die Vor- und Nachteile der genannten Sprachen und warum werden genau diese genutzt vorallem Ruby für exploits? Wäre da nicht C oder Python besser geeignet, da der Großteil der Metasploit-Framework exploits in Ruby geschrieben sind?

...zur Frage

Windows Server für zu Hause?

Hi, ich brauche einen Windows Server, den ich bei mir zu Hause laufen lassen kann um ein simples Python Selenium Script 24/7 laufen zu lassen.

Leider habe ich nur Angebote von über 100 Euro online gesehen.

...zur Frage

Python Selenium sendkeys/send_Keys funktioniert nicht?

Guten Abend zusammen,

Ich schreibe gerade ein Script (python 3.9), welches automatisch alle paar Minuten meinen Status auf Whatsapp ändern soll.

Dafür verwende ich das Modul "Selenium".

An sich funktioniert alles, aber sobald ich mit sendkeys/send_Keys eine Eingabe bzw. Tastenkombination machen will, kommt folgender Error:

DevTools listening on ws://127.0.0.1:55366/devtools/browser/0cda708f-11fa-451f-bd38-142130edba04
Traceback (most recent call last):
  File "d:\Coding\Visual_Studio\Python\****\main.py", line 25, in <module>
    term.sendkeys("1234")
AttributeError: 'WebDriver' object has no attribute 'sendkeys'

Und hier der Teil vom Code, der die Eingabe ausführen soll:

s4info = term.find_element_by_xpath("(//span[@data-icon='pencil'])[2]").click().sendkeys("abc")

Schönen Abend euch noch :D

...zur Frage

Script zu pie?

Mus ein kurzes Script schreiben und die ersten 50 Stellen von Pie auszurechnen

...zur Frage

Wieso kann ich kein Net Framework installieren?

Hallo!

Habe mir ebend gerade ein Game geholt, wollte es daraufhin runterladen , es sagte das ich Net framework 4.8 brauche, wenn ich aber auf herrunterladen klicke, und die Datei öffne, steht dort das net framework 4.8 nicht für mein Betriebssystem vorgesehen ist.

Wenn ich nun versuche ein Windows update zu machen kommt der Folgende error: Beim Installieren von Updates sind Probleme aufgetreten. Wir versuchen es allerdings später noch einmal. Falls dieser Fehler weiterhin auftritt und Sie Informationen im Web suchen oder sich an den Support wenden möchten, kann dieser Fehlercode hilfreich sein: (0x80240fff)

Habe nun den Windows Update assistant ausgeführt, ihn installieren lassen, und mein pc neugestartet, aber es ist noch immer kein Error-Fix in sicht.

Es kommt ständig der Selbe error (Windows updates und Net Framework)

das selbe geht für windows redistributable, es sagt das mein system ein windows upgrade brauch.

Bitte helft mir!

Danke im vorraus!!

Ps: habe windows 10

...zur Frage

Python Selenium findet Button nicht?

Hi, ich habe ein Script geschrieben welches nacheinander auf verschiedene Buttons klickt und sich einloggt. Beim letzen Button kommt allerdings immer die Fehlermeldung, dieser sei nicht gefunden worden. Habe es sowohl mit Link_Text als auch mit ID versucht.

from selenium import webdriver
from selenium.webdriver.common.by import By
import selenium.webdriver.common
import selenium.webdriver.common.actions
from selenium.webdriver.support import expected_conditions as EC
from pynput.keyboard import Key, Controller
import time
from selenium.webdriver.support.wait import WebDriverWait
import win32clipboard

keyboard = Controller()

PATH = "C:\Program Files (x86)\chromedriver.exe"
driver = webdriver.Chrome(PATH)

driver.get("https://04101643.moodle.belwue.de/moodle/blocks/exa2fa/login/")
driver.maximize_window()

username = driver.find_element_by_id("username")
password = driver.find_element_by_id("password")

username.send_keys("---")  #Name und Passwort hab ich natürlich nur zum hochladen hier entfernt ;)
password.send_keys("---")

login = driver.find_element_by_id("loginbtn")
login.click()

time.sleep(5)

fach = driver.find_element_by_partial_link_text("Mathematik")
fach.click()

time.sleep(3)

bbb = driver.find_element_by_xpath('//img[contains(@src,"https://04101643.moodle.belwue.de/moodle/theme/image.php/boost/bigbluebuttonbn/1609841251/icon")]')
bbb.click()

time.sleep(3)

teilnehmen = driver.find_element_by_id("join_button_input")
teilnehmen.click()

time.sleep(5)

keyboard.press(Key.ctrl)
keyboard.press('l')
time.sleep(1)
keyboard.release(Key.ctrl)
keyboard.release('l')
time.sleep(1)
keyboard.press(Key.ctrl)
keyboard.press('c')
time.sleep(1)
keyboard.release(Key.ctrl)
keyboard.release('c')

win32clipboard.OpenClipboard()
page = win32clipboard.GetClipboardData()    #Muss man hier das Fenster wechseln?
win32clipboard.CloseClipboard()             #Hinweis beim Klicken auf den vorherigen Button wird der Link in einem neuen Tab geöffnet

driver.get(page)                                 #Hier geht es dann zu BigBlueButton (Videochat Seite) auf der der letzte Button gedrückt werden soll

time.sleep(1)

keyboard.press(Key.ctrl)
keyboard.press('w')
time.sleep(1)
keyboard.release(Key.ctrl)
keyboard.release('w')

time.sleep(3)

mode = driver.find_element_by_partial_link_text("Nur")  #Den hier findet es nicht (falls es jemand kennt: Ist der ,,Nur zuhören" Button von BigBlueButton, habe den Code leider nicht da
mode.click()

Für Hinweise oder Lösungen des Problems wäre ich sehr dankbar. Falls es Unklarheiten gibt, gerne einen Kommentar schreiben.

...zur Frage

Python 5 Ziffern&Buchstaben Pin Brute Force?

Moin,

folgendes:

Ich möchte Bilddateien von einem Webserver herunterladen. Jedes Bild hat seine individuelle URL xxxxx.com/bbbbb

b besteht aus 5 Ziffern oder Buchstaben. Sprich

5 Pins | a - z = 26 und 0 - 9 = 10 (= 36) 36^5

wären dann 60.466.176 mögliche Kombinationen. Nun suche ich nach einer möglichst effektiven Methode, mit einem Python Script das Bild auf jeder der möglichen Kombinationen herunterzuladen. (Natürlich nicht alle, wobei die Gesamtgröße "nur" bei ca. 36GB liegen würde)

Ist da Selenium da die beste Wahl, oder gibt es eine bessere Methode? Und hat jemand von euch effektive Algorithmen parat, um die Kombinationen zu generieren?

...zur Frage

Python wie löse 'NoneType' object is not subscriptable?

Hallo!

Ich schreibe ein kleines Pythonprogramm, das als Web Crawler fungieren soll.Leider erhalte ich in Zeile 36 ein Fehler:

  brand = make_rating_sp[0].img["title"].title()
TypeError: 'NoneType' object is not subscriptable

Leider, finde ich keine Lösung. Wie könnte ich diesen Fehler lösen? Danke im Voraus!

make_rating_sp[0].img is None.

from bs4 import BeautifulSoup as soup  # HTML data structure
from urllib.request import urlopen as uReq  # Web client

# URl to web scrap from.
# in this example we web scrap graphics cards from Newegg.com
page_url = "http://www.newegg.com/Product/ProductList.aspx?Submit=ENE&N=-1&IsNodeId=1&Description=GTX&bop=And&Page=1&PageSize=36&order=BESTMATCH"

# opens the connection and downloads html page from url
uClient = uReq(page_url)

# parses html into a soup data structure to traverse html
# as if it were a json data type.
page_soup = soup(uClient.read(), "html.parser")
uClient.close()

# finds each product from the store page
containers = page_soup.findAll("div", {"class": "item-container"})

# name the output file to write to local disk
out_filename = "graphics_cards.csv"
# header of csv file to be written
headers = "brand,product_name,shipping \n"

# opens file, and writes headers
f = open(out_filename, "w")
f.write(headers)

# loops over each product and grabs attributes about
# each product
for container in containers:
    # Finds all link tags "a" from within the first div.
    make_rating_sp = container.div.select("a")

    # Grabs the title from the image title attribute
    # Then does proper casing using .title()
    brand = make_rating_sp[0].img["title"].title()

    # Grabs the text within the second "(a)" tag from within
    # the list of queries.
    product_name = container.div.select("a")[2].text

    # Grabs the product shipping information by searching
    # all lists with the class "price-ship".
    # Then cleans the text of white space with strip()
    # Cleans the strip of "Shipping $" if it exists to just get number
    shipping = container.findAll("li", {"class": "price-ship"})[0].text.strip().replace("$", "").replace(" Shipping", "")

    # prints the dataset to console
    print("brand: " + brand + "\n")
    print("product_name: " + product_name + "\n")
    print("shipping: " + shipping + "\n")

    # writes the dataset to file
    f.write(brand + ", " + product_name.replace(",", "|") + ", " + shipping + "\n")

f.close()  # Close the file

...zur Frage

wie memory leak in python script finden?

Hallo, ich hab ein python script auf einen raspberry pi 4 8gb laufen welches im loop ausgefuehrt wird und von tag zu tag immer mehr memory nutzt.

das script nutzt folgende imports:

import time

from selenium import webdriver

from selenium.webdriver.common.by import By

from random import *

import secrets

from selenium.webdriver.common.keys import Keys

import praw

from selenium.webdriver.firefox.options import Options

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

ich hab auch schon memory profiler ausprobiert, indem ich alles was im loop ausgefuehrt wird in einer funktion gespeichert hab und diese funktion im loop mit memory profiler zeile fuer zeile nach der memory nutzung suchen lassen habe aber das kommt bei jeder zeile nur 26.7MiB Nutzung raus.

z.b.

497 26.7 MiB 0.0 MiB 1 wait = randint(waita, waitb)

Ich hoffe mir kann jemand helfen wie ich genau heraus finden kann was so viel memory nutzt. <3

...zur Frage

Über Bash Shell einen Pfad auf einem anderen Server angeben?

Hallo,

ist es möglich über eine bash shell einen Pfad zu Dateien auf einem anderen Server anzugeben? Um genau zu sein soll über die Bash shell der Pfad zu Dateien an ein Python Script weitergeleitet werden. Das Python Script ließt die Dateien aus und verarbeitet die Informationenen darin.

...zur Frage

Blender Video Editing einfacher mit script?

Hallo, ich tuhe für bestimmte zwecke aus bildern videos schneiden doch mein problem ist das mir da oftmals 200 bilder gegeben werden

gibt es irgendwie eine möglichkeit die bilder mit einem python script in blender zu kürzen und wen ja hatt jemand ein gutes tutorial für mich?

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen