Crawler geht nicht weiter, wenn fertig mit einer URL?

Hallo zusammen,

ich arbeite gerade an einem Python-Crawler, der spezifisch für die Website beispielurl.de entwickelt wurde. Mein Ziel ist es, verschiedene Unterseiten zu crawlen, die jeweils unterschiedlichen Kategorien angehören, wie z.B. "Flaschenhersteller" und "Kartenhersteller". Der Crawler soll automatisch von einer Kategorie (z.B. beispielurl.de/Flaschenhersteller/page-1, beispielurl.de/Flaschenhersteller/page-2, usw.) zur nächsten wechseln (z.B. beispielurl.de/Kartenhersteller/page-1, beispielurl.de/Kartenhersteller/page-2, usw.), sobald alle Seiten der aktuellen Kategorie durchlaufen sind.

Leider funktioniert der Wechsel zwischen den Kategorien nicht wie erwartet. Der Crawler verarbeitet alle Seiten der ersten Kategorie korrekt, aber anstatt zur nächsten Kategorie zu wechseln, beginnt er wieder von vorn bei der ersten Kategorie, ohne die nachfolgenden Kategorien zu berücksichtigen.

Hier ist ein vereinfachter Ausschnitt meines Codes:

def process_page(self, url):
  soup = self.fetch_page_with_selenium(url)
  links = self.extract_PLZ_links(soup)

  for link in links:
    self.fetch_PLZ_details(link)

def run(self):
  try:
    for code in self.postal_codes:
      page_number = 1
      has_more_pages = True

      while has_more_pages:
        url = f"{self.base_url}/suche/-/{code}?page={page_number}"
        soup = self.fetch_page_with_selenium(url)
        links = self.extract_PLZ_links(soup)

        if links:
          for link in links:
            self.fetch_PLZ_details(link)
            page_number += 1
        else:
          has_more_pages = False
  finally:
    self.driver.quit()
    self.csv_handler.close_csv()

Hersteller = [Flaschenhersteller, Kartenhersteller, etc. ]
crawler = WebCrawler("https://beispielurl.de", Hersteller)
crawler.run()

Hat jemand eine Idee, warum der Crawler nicht zur nächsten Kategorie wechselt und wie ich dieses Problem beheben könnte? Ich bin für jeden Tipp dankbar!

1 Antwort

LUCKY1ONE

18.02.2024, 17:27

Er prüft zwar, ob es weitere Seiten in der aktuellen Kategorie gibt, aber sobald er mit einer Kategorie fertig ist, scheint er nicht korrekt zur nächsten Kategorie überzugehen. Stattdessen wiederholt er die Anfrage für die erste Kategorie, weil die Variable

page_number

und

has_more_pages

für alle Kategorien neu initialisiert werden, ohne dass ein tatsächlicher Wechsel der Kategorie stattfindet.

Du musst sicherstellen, dass der Crawler für jede Kategorie in der Liste (Hersteller) durchläuft und erst dann zur nächsten Kategorie übergeht, wenn alle Seiten der aktuellen Kategorie verarbeitet wurden.

Woher ich das weiß:eigene Erfahrung – Leidenschaftlicher C# Entwickler und Foren Admin

derstudent1337

Fragesteller

19.02.2024, 09:40

Erstmal Danke für die Antwort!!! Aber leider weiß ich nicht wie ich das beheben soll.:/

Hey Leute,

ich habe eine Frage zu Python und BeautifulSoup. Mein Webcrawler funktioniert eigentlich ganz gut, nur wenn ich damit versuche, Video-URLs zu extrahieren, geht nichts.

def get_linked_urls(self, url, html):
  soup = BeautifulSoup(html, 'html.parser')
  for link in soup.find_all('a'):
    path = link.get('href')
    print(path)

    if path and path.startswith('/watch?'):
      path = urljoin(url, path)

    yield path

"commandMetadata": {
  "webCommandMetadata": {
    "url": "/watch?v=HmP_wGYw1_g\u0026list=PLu0ocO48LFms5WsI1ipaeanxqRjn2fC_5\u0026index=2",

Ich habe vergessen, dass JavaScript natürlich ausgeführt wird, also funktioniert es nicht, wenn ich die Elemente anspreche, die ich unter den untersuchten Elementen gefunden habe.

Hat jemand eine Idee, was ich an dem Code verändern müsste, damit der alle /watch-Links extrahiert und diese ausgibt?

Gut wäre, wenn man noch https://www.youtube.com hinzufügen könnte.

...zur Frage

Warum werden in diesem Code Klassen verwendet?

Also was für einen Vorteil hat das?:

Der Code ist für ein Tic-Tac-Toe-Spiel

class Board():
    def __init__(self):
        self.state = [0, 0, 0, 0, 0, 0, 0, 0, 0]

    def make_turn(self, cell, player):
        if self.is_valid_turn(cell):
            self.state[cell] = player.symbol
            return True
        return False

    def is_valid_turn(self, cell):
        if self.state[cell] == 0:
            return True
        else:
            return False

    def check_win(self, player):
        s = player.symbol
        if self.state[0] == s and self.state[1] == s and self.state[2] == s:
            return True
        elif self.state[3] == s and self.state[4] == s and self.state[5] == s:
            return True
        elif self.state[6] == s and self.state[7] == s and self.state[8] == s:
            return True

        elif self.state[0] == s and self.state[3] == s and self.state[6] == s:
            return True
        elif self.state[1] == s and self.state[4] == s and self.state[7] == s:
            return True
        elif self.state[2] == s and self.state[5] == s and self.state[8] == s:
            return True

        elif self.state[0] == s and self.state[4] == s and self.state[8] == s:
            return True
        elif self.state[2] == s and self.state[4] == s and self.state[6] == s:
            return True

    def is_full(self):
        for i in self.state:
            if i == 0:
                return False
        return True

    def sign_to_printable(self, sign):
        if sign == 0:
            return " "
        elif sign == 1:
            return "X"
        else:
            return "O"

    def print_board(self):
        print(" " + self.sign_to_printable(self.state[0]) + " | " + self.sign_to_printable(self.state[1]) + " | " + self.sign_to_printable(self.state[2]) + " \n" +
              " " + self.sign_to_printable(self.state[3]) + " | " + self.sign_to_printable(self.state[4]) + " | " + self.sign_to_printable(self.state[5]) + " \n" +
              " " + self.sign_to_printable(self.state[6]) + " | " + self.sign_to_printable(self.state[7]) + " | " + self.sign_to_printable(self.state[8]) + " \n")


class Player:
    def __init__(self, symbol):
        self.symbol = symbol


if __name__ == '__main__':
    player_a = Player(1)
    player_b = Player(-1)
    board = Board()
    active_player = player_a
    while not board.is_full():
        board.print_board()
        try:
            cell = int(input("Where do you want to place your sign? [1-9]"))
        except ValueError:
            continue
        cell = cell - 1
        if cell < 0 or cell > 8:
            print("Please enter a number between 1 and 9")
            continue
        if not board.make_turn(cell, active_player):
            print("Invalid Move")
            continue

        if board.check_win(active_player):
            print("You wonnered! GW.")
            break

        if …

...zur Frage

Mein Python Code funktioniert nicht?

Guten Abend erst einmal,

ich habe versucht mittels Python ein Mau Mau spiel zu erstellen, aber wenn ich es ausprobieren will, zeigt mir das Programm mitten im code " invalid Syntax " an.

Kann einer von euch mal bitte drüber schauen und mir sagen, was fehlt?

Hier ist der Code (,was mir als Fehler angezeigt wurde habe ich markiert( es ist das deck.shuffel ())).

import random

class Card:

def __init__(self, value, suit):

self.value = value

self.suit = suit

def __repr__(self):

return f"{self.value} of {self.suit}"

class Deck:

suits = ["Hearts", "Diamonds", "Spades", "Clubs"]

values = ["Ace", "2", "3", "4", "5", "6", "7", "8", "9", "10", "Jack", "Queen", "King"]

def __init__(self):

self.cards = [Card(value, suit) for suit in self.suits for value in self.values]

def shuffle(self):

random.shuffle(self.cards)

def deal(self):

return self.cards.pop()

class Player:

def __init__(self, name):

self.name = name

self.hand = []

def draw(self, deck):

self.hand.append(deck.deal())

def play_card(self, card):

self.hand.remove(card)

class AIPlayer(Player):

def choose_card(self, top_card):

for card in self.hand:

if card.value == top_card.value or card.suit == top_card.suit:

return card

return self.hand[0]

def play_game():

deck = Deck()

... deck.shuffle()

...

... player = Player("Player")

... ai = AIPlayer("AI")

...

... for i in range(7):

... player.draw(deck)

... ai.draw(deck)

...

... top_card = deck.deal()

...

... while len(player.hand) > 0 and len(ai.hand) > 0:

... print(f"Top card: {top_card}")

... print(f"{player.name}'s hand: {player.hand}")

...

... chosen_card = player.play_card(player.hand[int(input("Choose a card to play (index): "))])

... if chosen_card.value == top_card.value or chosen_card.suit == top_card.suit:

... top_card = chosen_card

... else:

... player.draw(deck)

... print(f"{player.name} drew a card.")

...

... if len(ai.hand) > 0:

... chosen_card = ai.choose_card(top_card)

... print(f"{ai.name} played {chosen_card}.")

... if chosen_card.value == top_card.value or chosen_card.suit == top_card.suit:

... top_card = chosen_card

... else:

... ai.draw(deck)

... print(f"{ai.name} drew a card.")

...

... if len(player.hand) == 0:

... print(f"{player.name} wins!")

... else:

... print(f"{ai.name} wins!"

>>> [DEBUG ON]

>>> [DEBUG OFF]

...zur Frage

Discord ticket bot Öffnet kein ticket?

Wenn ich versuche ein neues ticket zu öffnen Kommt in discord der fehler: "Diese Interaktion ist fehlgeschlagen und im code-editor kommt die Fehlermeldung: "Traceback (most recent call last):

, line 427, in _scheduled_task

await item.callback(interaction)

, line 35, in ticket

await interaction.defer(

AttributeError: 'Button' object has no attribute 'defer'

import discord

from discord.ext import commands

TOKEN = "DISCORD-BOTTOKEN"

bot = commands.Bot(command_prefix="!",

intents=discord.Intents.all(),

status=discord.Status.dnd)

async def change_bot_activity():

activity = discord.Activity(type=discord.ActivityType.watching, name="")

await bot.change_presence(activity=activity)

@bot.event

async def on_ready():

print("Bot is Ready!")

await change_bot_activity()

@bot.command(name="ticket")

@commands.has_permissions(administrator=True)

async def ticket(ctx):

embed = discord.Embed(

description="Drück den Button, um ein neues Ticket zu erstellen!"

)

view = CreateButton()

await ctx.send(embed=embed, view=view)

class CreateButton(discord.ui.View):

def __init__(self):

super().__init__(timeout=None)

@discord.ui.button(label="Create Ticket", style=discord.ButtonStyle.blurple, emoji="🎫", custom_id="ticketopen")

async def ticket(self, button: discord.ui.Button, interaction: discord.Interaction):

# Nutzerinteraktion bestätigen

await interaction.defer()

category = discord.utils.get(interaction.guild.categories, id=)

for ch in category.text_channels:

if ch.topic == f"{interaction.user.id} DO NOT CHANGE THE TOPIC OF THIS CHANNEL":

await interaction.followup.send("Du hast bereits ein Ticket: {0}".format(ch.mention), ephemeral=True)

return

r1 = discord.utils.get(interaction.guild.roles, id=)

overwrites = {

interaction.guild.default_role: discord.PermissionOverwrite(read_messages=False),

r1: discord.PermissionOverwrite(read_messages=True, send_messages=True, manage_messages=True),

interaction.user: discord.PermissionOverwrite(read_messages=True, send_messages=True),

interaction.guild.me: discord.PermissionOverwrite(read_messages=True, send_messages=True)

}

channel = await category.create_text_channel(

name=str(interaction.user),

topic=f"{interaction.user.id} DO NOT CHANGE THE TOPIC OF THIS CHANNEL!",

overwrites=overwrites

)

await channel.send(embed=discord.Embed(

title="Ticket erstellen",

description="Pinge keine Teammitglieder",

color=discord.Color.green()

))

await interaction.followup.send(

embed=discord.Embed(

description="Erstelle ein neues Ticket {0}".format(channel.mention),

color=discord.Color.white()

)

bot.run(TOKEN)

...zur Frage

PyQt5 WebEngine mehrere WebViews mit jeweils unterschiedlichen Proxys in einem Fenster funktioniert nur bei den ersten beiden Proxys?

Hallo liebe Community,

Ich wollte mit PyQt eine Oberfläche Implementieren, die mehre Websites mit unterschiedlichen Proxys pro Laufzeit aufruft, und anzeigt.

Das soll dann ungefähr so aussehen:

, nur, dass beim 2. Fenster eine andere Proxyaddresse stehen sollte. Hier ist mein Code:

import json
import random
import threading
import time
from typing import *
import requests

from PyQt5.QtWidgets import *
from PyQt5.QtGui import *
from PyQt5.QtCore import *
import requests, re
from PyQt5.QtWebEngineWidgets import *
import PyQt5.QtNetwork
import PyQt5.QtWidgets

def refresh_browser():
    time.sleep(10)
    host, port, ct = random.choice(proxylist)
    print(host, port, ct)
    PyQt5.QtNetwork.QNetworkProxy.setApplicationProxy(
        PyQt5.QtNetwork.QNetworkProxy(PyQt5.QtNetwork.QNetworkProxy.Socks5Proxy, host, port))
    window.refresh.click()


proxylist = [(a, b, c) for a, b, c in json.load(open("proxies.txt")) if c == "DE"]
available_proxiy_protocols = {"socks5":PyQt5.QtNetwork.QNetworkProxy.Socks5Proxy, "http":PyQt5.QtNetwork.QNetworkProxy.HttpProxy}
class Browser(QMainWindow):
    def __init__(self, url, proxylist: List):
        super(Browser, self).__init__()
        self.window = QWidget()
        self.layout = QVBoxLayout()
        self.horizontal = QHBoxLayout()
        self.browsers = []
        self.c = 0

        
        self.current_url = url

        self.button = QPushButton()
        self.button.clicked.connect(lambda: self.navigate(self.current_url))

        self.refresh = PyQt5.QtWidgets.QPushButton()
        self.refresh.clicked.connect(lambda: self.refr(self.current_url))


        for proxy in proxylist:
  
    
                #HIER MUSS ETWAS GEÄNDERT WERDEN
                self.browser = QWebEngineView()
    
                self.layout.addLayout(self.horizontal)
                self.layout.addWidget(self.browser)
                self.browser.setUrl(QUrl(self.current_url))
                self.browsers.append(self.browser)
    
            self.window.setLayout(self.layout)

        self.window.show()
    
    def navigate(self, url): self.browser.setUrl(QUrl(url))
    def refr(self, url):
        for br in self.browsers:
            br.setUrl(QUrl(url))
host, port, ct = random.choice(proxylist)
print(host, port, ct)
#PyQt5.QtNetwork.QNetworkProxy.setApplicationProxy(PyQt5.QtNetwork.QNetworkProxy(PyQt5.QtNetwork.QNetworkProxy.Socks5Proxy, host, port))
app = QApplication([])


proxys = [("104.255.170.63", 60757), ("103.241.227.114", 6667)]
ip = "https://httpbin.org/ip"
PyQt5.QtNetwork.QNetworkProxy.setApplicationProxy(PyQt5.QtNetwork.QNetworkProxy(PyQt5.QtNetwork.QNetworkProxy.Socks5Proxy, proxys[0][0], proxys[0][1]))
print(proxys)
window = Browser(ip, proxys)


app.exec()

Kann mir jemand helfen, uns mir sagen, wie ich nach jederm Browserfenster, das erstellt wird, einen anderen Proxy setzen kann?

Vielen Dank Im Voraus

LG Lukas Zander

...zur Frage

Wie kann ich meinen Python-Code schneller machen?

Hallo,

ich habe gestern in Python ein paar Funktionen geschrieben, die mir ein interessantes Bild ausrechnen sollen. Ich kriege es jedoch nicht hin, dass das Programm einigermaßen schnell läuft und am Ende muss auch die Auflösung darunter leiden

Wenn da mal jemand drüberschauen könnte, wäre das wirklich hilfreich.

import numpy as np
import matplotlib.pyplot as plt
from math import pi, sqrt, atan

#Punkt definieren
class point:
    def __init__(self,x=0,y=0,z=0):
        self.x = x
        self.y = y

    #Operationen
    def __str__(self):
        return "({0},{1})".format(self.x, self.y)

    def __add__(self, other):
        return point(self.x+other.x,self.y+other.y)

    def __sub__(self, other):
        return point(self.x - other.x, self.y - other.y)

    def __abs__(self):
        return sqrt(self.x**2 + self.y**2)

    def __mul__(self, other):
        if type(other) == point:
            return point(self.x * other.x, self.y * other.y)
        return point(self.x * other, self.y * other)

    def __truediv__(self, other):
        if type(other) == point:
            return point(self.x / other.x, self.y / other.y)
        return point(self.x / other, self.y / other)

    def __neg__(self):
        return point(-self.x,-self.y)

# weitere Funktionen für Punkte
def dis(PointA,PointB):
    return abs(PointB-PointA)

def dir(PointA,PointB):
    return (PointB-PointA)/dis(PointA,PointB)


#Funktion für den Wert
def grav_v(x,y,time=5,frames=60):
    p = point(-1,0)
    sp = point(x+1,y)

    c = point(0,0)
    sc = point(0,0)
    
    #Vielleicht wegen des for-loops so langsam?
    for k in range(frames*time):
        try:
            plus = dir(p,c) * 1/dis(p,c)**2 / frames
            sp += plus
            p += sp/frames
            sc -= plus
            c += sc/frames
        except:
            pass

    return p


#Funktion für das Bild
def grav_c(a=-4, b=4, smoothness=1):
    ROWS = []
    p = 0
    print(0)
    #zwei for-loops...
    for Y in np.linspace(a,b,int(200*smoothness)):
        row = []
        for X in np.linspace(a,b,int(200*smoothness)):
            g = grav_v(X, Y)
            row.append( (abs(atan(g.x)*2/pi), abs(atan(g.y)*2/pi), abs(atan(abs(g))*2/pi)) )
        ROWS.append(row)
        p += 1
        print(p / (200 * smoothness))
    plt.imshow(ROWS, extent=(a, b, a, b))
    plt.show()

grav_c()

...zur Frage

PHP router auf subdomain?

Hallo.

Ich habe folgendes Problem, dass mein Router auf meiner Subdomain (All-Inkl) nicht funktioniert. Er funktioniert Localhost und auch auf der Domain. (Fehler Code kommt keiner - außer ich bin auf einer Unterseite zB /skills und der Server sagt: Not Found)

The requested URL was not found on this server.

Danke im voraus.

<?php
//URL abfragen
$url = $_SERVER['REQUEST_URI'];

//Datei zu URL finden
$pages = match ($url) {
    '' => 'home.php',
    '/' => 'home.php',
    'kontakt' => 'kontakt.php',
    'uebermich' => 'uebermich.php',
    'skills' => 'skills.php',
    'projekte' => 'projekte.php',
    'gesendet' => 'gesendet.php',
    default => 'home.php'
};

//Datei einfügen
require 'pages/' . $pages;

...zur Frage

Fehlermeldung: "Command raised an exception: AttributeError: 'NoneType' object has no attribute 'stop'"?

Hallo!

Ich bin gerade dabei zu versuchen, meinen Discord Musikbot zu programmieren.

Aber als ich den Bot getestet habe, kam die ganze Zeit der Fehler

"Command raised an exception: AttributeError: 'NoneType' object has no attribute 'stop'".

Nun wollt ich fragen, ob ihr mir helfen könnt. Hier ist nochmal der Code:

import discord
from discord.ext import commands
import youtube_dl

class music(commands.Cog):
  def __init__(self, client):
    self.client = client

  @commands.command()
  async def join(self, ctx):
    if ctx.author.voice is None:
      await ctx.send("Du bist in keinem Channel!")

    voice_channel = ctx.author.voice.channel

    if ctx.voice_client is None:
      await voice_channel.connect()
    else:
      await ctx.voice_client.move_to(voice_channel)

  @commands.command()
  async def disconnect(self, ctx):
    await ctx.voice_client.disconnect()

  @commands.command()
  async def play(self,ctx, url):
    ctx.voice_client.stop()
    FFMPEG_OPTIONS = { 'before_options': '-reconnect 1 -reconnect_streamed 1 -reconnect_delay_max 5', 'options': '-vn' }
    YDL_OPTIONS = { 'format:"bestaudio"' }
    vc = ctx.voice_client

    with youtube_dl.YoutubeDL(YDL_OPTIONS) as ydl:
      info = ydl.extract_info(url, download = False)
      url2 = info['formats'][0]['url']
      source = await discord.FFmpegOpusAudio.from_probe(url2, **FFMPEG_OPTIONS)
      vc.play(source)

  @commands.command()
  async def pause(self, ctx):
    await ctx.voice_client.pause()
    await ctx_send("Pausiert⏸️")

  @commands.command()
  async def resume(self, ctx):
    await ctx.voice_client.resume()
    await ctx_send("Weiter⏯️")

def setup(client):
  client.add_cog(music(client))

...zur Frage

flask: jinja2.exceptions.TemplateNotFound: index.html | Wie fixen?

Hallo zusammen,

nachdem ich jetzt Stunden, und zwar wirklich Stunden an nur einem, meiner Meinung nach unnötigem Problem gesessen habe, bitte ich nun um Hilfe.

Folgendes vorab: Nachdem ich die Datenbankkonfiguration ausgelagert habe, fing das Problem wieder an. Zuvor habe ich in die flask_app.py einfach folgendes eingetragen, was das Problem löste:

data = "Daten aus Python-Skript"

Ich persönlich arbeite mich ja in die Programmierung ein, habe aber das Gefühl, dass Flask irgendwie unnötig kompliziert ist. Aber das ist ja nicht wichtig.

Ich habe just for fun OpenAI mal über den Code laufen lassen: Zugegeben, ist das nicht die schlauste Option, aber nach 5 Stunden nur für diesen Code verzweifelt man doch etwas xD

Ich möchte Daten aus der Datenbank abrufen und auf der Webseite anzeigen lassen. Dazu existiert folgender Code:

Hauptverzeichnis/main.py:

from web.flask_app import app
from systm import main

if __name__ == '__main__':
    app.run(debug=True, host="0.0.0.0", port=5000)  # 5000 Standard

Hauptverzeichnis/systm/main.py:

from flask import Flask, render_template
from systm.d import create_db_connection

app = Flask(__name__)


# Datenbankverbindung initialisieren
db = create_db_connection()
cursor = db.cursor()


@app.route('/')
def display_data():
    # Hier können Sie Daten aus Ihrem Python-Skript abrufen
    cursor.execute("SELECT * FROM products")
    product_info = cursor.fetchall()

    # Diese Daten werden an die HTML-Datei übergeben
    return render_template('index.html', product_info=product_info)


# Route, um Produktinformationen anzuzeigen
@app.route('/products')
def display_products():
    # Informationen aus der Datenbank abrufen
    cursor.execute("SELECT * FROM products")
    product_info = cursor.fetchall()

    # Informationen an das HTML-Template übergeben und anzeigen
    return render_template('products.html', product_info=product_info)


if __name__ == '__main__':
    app.run(debug=True)

Hauptverzeichnis/systm/d.py:

import mysql.connector

def create_db_connection():
    db = mysql.connector.connect(
        host="",
        user="",
        password="",
        database=""
    )
    return db

Hauptverzeichnis/web/flask_app.py:

from flask import Flask, render_template
from systm.d import create_db_connection

app = Flask(__name__, template_folder='web/templates', static_folder='web/static')


# Deaktivieren des Template-Caching
app.jinja_env.auto_reload = True
app.config['TEMPLATES_AUTO_RELOAD'] = True
app.config['STATIC_AUTO_RELOAD'] = True


# Datenbankverbindung initialisieren
db = create_db_connection()
cursor = db.cursor()


@app.route('/')
def display_data():
    # Daten aus der Datenbank abrufen
    cursor.execute("SELECT * FROM products")
    product_info = cursor.fetchall()

    # Diese Daten werden an die HTML-Datei übergeben und angezeigt
    return render_template('index.html', product_info=product_info)

Hauptverzeichnis/web/templates/index.html :

<!DOCTYPE html>
<html lang="de">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
    <link rel="stylesheet" type="style/css" href="{{ url_for('static', filename='style.css') }}">
</head>
<body>
    <h1>Produktinformationen</h1>
    <table>
        <tr>
            <th>Produktname</th>
            <th>Verschlüsselungstyp</th>
            <!-- Weitere Spalten hinzufügen -->
        </tr>
        {% for product in product_info %}
        <tr>
            <td>{{ product[0] }}</td>
            <td>{{ product[1] }}</td>
            <!-- Weitere Spalten hinzufügen -->
        </tr>
        {% endfor %}
    </table>
</body>
</html>

...zur Frage

Python BeautifulSoup Website Crawler?

Hallo,

ich wollte mal nachfragen, ob hier jemand mit BeautifulSoup Erfahrung hat. Ich versuche den Inhalt einer Website zu crawlen. Das funktioniert auch. Bei manchen Seiten aber überhaupt nicht. Da scheint der page content einfach nicht zu existieren.

Woran könnte das liegen? Am Code kanns ja nicht liegen. Aber der Vollständigkeit halber, hier der Code:

page = requests.get(url)
soup = BeautifulSoup(page.content, "html.parser")
for tag in soup.find_all('title'):
    print("Tag found!")

Es ist sogar so, dass sich dann sogar die Anwendung beendet.

Folgendes wird in der Konsole ausgegeben:

Process finished with exit code -1073740791 (0xC0000409)

Ich schätze dass es bereits bei dem request ein Problem gibt. Könnten dass irgendwelche Sicherheitsmechanismen sein?

...zur Frage

SWE Hilfe Jupyter Notebook - Versteht jemand, was ich falsch mache?

class Vektor:
  def __init__(self, Liste):
    for i in Liste:
      if type(i)! = (int or float)
        raise TypeError("VektorFehler: Im Vektor duerfen nur Zahlen stehen.")
      self.__Liste = Liste
      self.__Dim = len(Liste)

  def __str__(self):
    return str(self.__Liste)

  def __add__(self, anderen):
    Ergebnis = []
    try:
      for i in range(self.__Dim):
        Ergebnis.append(self.__Liste[i]+anderen.__Liste[i])
    except IndexError:
      print("VektorFehler: Die Dimension der Vektoren sind nicht gleich.")
      return False
    except TypeError:
      print("VektorFehler: Im Vektor duerfen nur Zahlen stehen.")
      return False
    else:
      return Vektor(Ergebnis)

  def __mul__(self, anderen):
    Ergebnis = 0
    for i in range(self.__Dim):
      Ergebnis += self.__Liste[i] * anderen.__Liste[i]
    return Ergebnis

if __name=="__main__"
  Vektor1 = Vektor([1, 2, 3])
  print ("Vektor1:", Vektor1)
  Vektor2 = Vektor([2, 3, "Orange"])
  print("Vekot2:", Vektor2)
  print("Summe1:", Vektor1 + Vektor2)
  print("Summe2:", Vektor2 + Vektor1)

Fehleranzeige:

File "<ipython-input-1-87427d9557df>", line 4
    if type(i)! = (int or float)
              ^
SyntaxError: invalid syntax

Versteht jemand, was ich falsch mache?

...zur Frage

Python **kwargs für Vererbung bei Klassen?

Liebe Community,

ich verstehe nicht ganz wozu man dieses **kwargs in diesem Code braucht. Das ist eine Kivy App in Python. Aber das ist eigentlich unwichtig.

Also meine Frage ist, wozu man das **kwargs bei der Vererbung braucht. (Gerne auch mit Bezug auf den aktuellen Code)

Eine ausführliche und genaue Erklärung wäre echt super, weil ich an diesem Problem schon seit Tagen verzweifel.

 from kivy.app import App
from kivy.uix.boxlayout import BoxLayout
from kivy.uix.label import Label
from kivy.uix.textinput import TextInput
from kivy.uix.button import Button
from kivy.uix.image import Image
from kivy.core.window import Window
import random


class HangmanGame(BoxLayout):

    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        self.word_list = ["python", "java", "ruby", "javascript", "php"]
        self.guess_word = []
        self.secret_word = ""
        self.remaining_guesses = 6
        self.img_path = "img/hangman_{}.png"
        self.create_game_layout()
        self.new_game()

“““. . .(Leider konnte ich nicht den ganzen Code einfügen. Wegen dem Zeichenlimit. Aber die wichtigen Stellen sind drin. Sprich die __init__() Methode mit dem **kwargs, welches ich nicht verstehe und die Instanziierung des Objektes)“““

HangmanApp().run()

...zur Frage

PyQT6 Code - Zufällige Buchstaben?

Ich habe diesen Code geschrieben:

import random
import sys
from PyQt6.QtCore import Qt, QSize
from PyQt6.QtGui import QPixmap, QFont
from PyQt6.QtWidgets import QApplication, QLabel, QMainWindow, QPushButton
from PyQt6.QtWidgets import (
    QApplication,
    QCheckBox,
    QComboBox,
    QDateEdit,
    QDateTimeEdit,
    QToolBar,
    QDial,
    QDoubleSpinBox,
    QFontComboBox,
    QLabel,
    QLCDNumber,
    QLineEdit,
    QMainWindow,
    QProgressBar,
    QPushButton,
    QRadioButton,
    QSlider,
    QSpinBox,
    QTimeEdit,
    QVBoxLayout,
    QWidget,
)


from PyQt6.QtWidgets import (QWidget, QLabel, QLineEdit,
        QTextEdit, QGridLayout, QApplication)


class SushiCreator(QMainWindow):
    def __init__(self):
        super().__init__()
        self.setFixedSize(QSize(300, 200))
        self.setWindowTitle("Sushi Creator")
        self.setStyleSheet("background-color: lightblue;")


        self.start_button = QPushButton("Starten", self)
        self.start_button.move(105, 75)
        self.start_button.clicked.connect(self.start_clicked)
        
    def start_clicked(self):
        self.setFixedSize(QSize(1000, 1000))
        self.start_button.hide()


        letters = 'a' + 'b'+ 'c' + 'd' + 'e' + 'f' + 'g' + 'a' + 'h' + 'c'  
        random_letters = ''.join(random.choice(letters) for i in range(5))


        


        self.letters_edit = QPushButton(self)
        self.letters_edit.setText(random_letters)
        self.letters_edit.setFont(QFont("Arial", 200))
        self.letters_edit.setStyleSheet("background-color: cyan; color: black;")
        
        
     
        
    
        


if __name__ == '__main__':
    app = QApplication(sys.argv)
    sushi_creator = SushiCreator()
    sushi_creator.show()
    sys.exit(app.exec())

Es entsteht ein hellblaues Fenster mit einem "Start" Knopf. Nach Betätigung wird dieser versteckt und das Fenster groß. Leider sind keine Buchstaben zu sehen. Kann mir jemand helfen?

...zur Frage

Wozu das super()-__init__(**kwargs)?

Bei dem Code im Anhang, der Hangman als Python App mit dem Kivy Framework erstellt, weiß ich nicht wozu man die Zeile mit dem super() braucht. Also warum muss man die **kwargs Argumente an die Basisklasse weitergeben?

class HangmanGame(BoxLayout):    
    def __init__(self, **kwargs):
            super().__init__(**kwargs)
            self.word_list = ["python", "java", "ruby", "javascript", "php"]
            self.guess_word = []
            self.secret_word = ""
            self.remaining_guesses = 6
        self.img_path = "img/hangman_{}.png"
        self.create_game_layout()
        self.new_game()


    def create_game_layout(self):
        self.orientation = "vertical"
        self.image = Image(source=self.img_path.format(0))
        self.word_label = Label(text=" ".join(self.guess_word),
                                font_size="50sp",
                                halign="center",
                                valign="middle")
        self.remaining_guesses_label = Label(text=f"Remaining guesses: {self.remaining_guesses}")
        self.input_label = Label(text="Enter a letter:")
        self.input = TextInput(multiline=False)
        self.submit_button = Button(text="Submit", 

#Hier fehlt was unwichtiges, weil die Frage zu lang war

    def new_game(self):
        self.secret_word = random.choice(self.word_list)
        self.guess_word = ["_"] * len(self.secret_word)
        self.remaining_guesses = 6
        self.image.source = self.img_path.format(0)
        self.input.text = ""
        self.word_label.text = " ".join(self.guess_word)
        self.remaining_guesses_label.text = f"Remaining guesses: {self.remaining_guesses}"


    def check_letter(self, instance):
        letter = self.input.text
        if letter in self.secret_word:
            for i, c in enumerate(self.secret_word):
                if c == letter:
                    self.guess_word[i] = letter
            if "_" not in self.guess_word:
                self.end_game(True)
        else:
            self.remaining_guesses -= 1
            self.image.source = self.img_path.format(6 - self.remaining_guesses)
            self.remaining_guesses_label.text = f"Remaining guesses: {self.remaining_guesses}"
            if self.remaining_guesses == 0:
                self.end_game(False)
        self.input.text = ""
        self.word_label.text = " ".join(self.guess_word)


    def end_game(self, victory):
        message = "Congratulations, you won!" if victory else f"Sorry, the word was {self.secret_word}."
        self.remaining_guesses_label.text = message
        self.remove_widget(self.input_label)
        self.remove_widget(self.input)
        self.remove_widget(self.submit_button)
        self.add_widget(Button(text="New Game", on_press=self.new_game))



class HangmanApp(App):


    def build(self):
        Window.clearcolor = (0.5, 0.5, 0.5, 1)
        return HangmanGame()


HangmanApp().run()

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen