Python BeautifulSoup Website Crawler?

Hallo,

ich wollte mal nachfragen, ob hier jemand mit BeautifulSoup Erfahrung hat. Ich versuche den Inhalt einer Website zu crawlen. Das funktioniert auch. Bei manchen Seiten aber überhaupt nicht. Da scheint der page content einfach nicht zu existieren.

Woran könnte das liegen? Am Code kanns ja nicht liegen. Aber der Vollständigkeit halber, hier der Code:

page = requests.get(url)
soup = BeautifulSoup(page.content, "html.parser")
for tag in soup.find_all('title'):
    print("Tag found!")

Es ist sogar so, dass sich dann sogar die Anwendung beendet.

Folgendes wird in der Konsole ausgegeben:

Process finished with exit code -1073740791 (0xC0000409)

Ich schätze dass es bereits bei dem request ein Problem gibt. Könnten dass irgendwelche Sicherheitsmechanismen sein?

1 Antwort

Vom Fragesteller als hilfreich ausgezeichnet

regex9

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Computer, Technik, programmieren

26.01.2022, 13:13

Lass dir den Response einmal ausgeben und schau, ob in ihm überhaupt die Elemente zu finden sind, die du suchst. Hierbei kannst du auch mit dem Seitenquelltext abgleichen, den du über deinen Webbrowser für die Webseite aufrufen kannst (hierbei ist nicht die Inspektoransicht der Webentwicklungstools gemeint, sondern explizit der Kontextmenüpunkt Seitenquelltext anzeigen).

Nicht alle Elemente werden stets mit dem ersten Response kreiert. Es könnten auch Inhalte via JavaScript nachgeladen werden (solche Inhalte werden in der Seitenquelltextansicht nicht angezeigt, dafür aber im Webinspektor). Wenn dies der Fall ist, solltest du statt BS4 ein Tool wie Selenium verwenden. Mit dem kannst du auf Inhalte warten.

Noch ein anderer Grund könnte vielleicht sein, dass der HTML Parser scheitert, weil das HTML der Seite invalid ist.

Nevron

Fragesteller

27.01.2022, 22:17

Danke dir.

Die Response hatte ich geprüft. Die war null, bzw tatsächlich nichts. Hatte die Response ausgegeben. Keinerlei Anzeige. Selbst im Debugger wurde nichts angezeigt. Nicht einmal null. Bei einer Seite, bei der es funktionierte, hatte ich Status 200 zurückbekommen. Am Ende lag am Javascript. Der Inhalt wurde nachgeladen. Ich habe auch festgestellt, dass es hier und da Probleme mit JINJA2 Templateverererbung gibt.

Ich hatte die Anwendung zuerst mit PyQT5 geschrieben. Hatte auch gelesen, dass wohl PyQT5 wohl hier und da Probleme mit BeautifulSoup hat. Hab dann mal aus Spaß, eine Flaskanwendung erstellt. Gleicher Code. Und siehe da, da wurden mir dann Exceptions ausgegeben.

Ähnliche Fragen

BeautifulSoup AttributeError (Python)?

Hi, was könnte diesen Fehler verursachen?

raise AttributeError(
AttributeError: ResultSet object has no attribute 'get'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

Code:

rs=session.get('https://nicht-die-echte-url.com')
soup=BeautifulSoup(rs.text, 'lxml')	
session_key=soup.find_all('a').get('href')
print(session_key.split("sesskey=")[1])

...zur Frage

Webseiten Scraper in Python?

Ich würde gerne einen WebScraper programmieren, jedoch bekomme ich es nicht hin. Ich würde gerne von einer Webseite die Frequenz von unserem Stromnetz auslesen, bekomme aber als Ausgabe nur "None". Hier ist mein Python-Code:

from bs4 import BeautifulSoup

import requests, time

url = f'https://www.apg.at/de/markt/Markttransparenz/Netzregelung/Netzfrequenz'

page = requests.get(url)

soup = BeautifulSoup(page.content, 'html.parser')

table = soup.find('h3', attrs={'class':'mb-0 text-danger ng-tns-c64-1'})

print(table)

Ich habe vor 2 Stunden mit Python angefangen, habe aber bereits gute Kenntnisse in C++ und Java etc. Hat jemand eine Idee, wie ich das Problem lösen kann oder hat jemand bereits was ähnliches programmiert?

LG

...zur Frage

An die Programmierer?

Wie lange würdet ihr eurer Meinung nach brauchen um so eine Seite wie Zalando zu programmieren und mit welchen Programmiersprachen?

...zur Frage

Wie kan nich das Kachel problem lösen?

import requests

from bs4 import BeautifulSoup

import csv

output_file = csv.writer(open('prem_table_bs.csv', 'w'))

output_file.writerow(['Position', 'Team', 'Played', 'Won', 'Drawn', 'Lost', 'For', 'Against', 'GD', 'Points'])

result = requests.get("https://www.bbc.co.uk/sport/football/tables")

src = result.content

soup = BeautifulSoup(src, 'html.parser')

table = soup.find_all("table")

league_table = table[0]

teams = league_table.find_all("tr")

for team in teams[1:21]:

stats = team.find_all("td")

position = stats[0].text

team_name = stats[2].text

played = stats[3].text

won = stats[4].text

drawn = stats[5].text

lost = stats[6].text

for_goals = stats[7].text

against_goals = stats[8].text

goal_diff = stats[9].text

points = stats[10].text

output_file.writerow([position, team_name, played, won, drawn, lost, for_goals, against_goals, goal_diff, points])

...zur Frage

BeautifulSoup / YouTube: Hat jemand eine Idee, was ich an dem Code verändern müsste, damit der alle /watch-Links extrahiert und diese ausgibt?

Hey Leute,

ich habe eine Frage zu Python und BeautifulSoup. Mein Webcrawler funktioniert eigentlich ganz gut, nur wenn ich damit versuche, Video-URLs zu extrahieren, geht nichts.

def get_linked_urls(self, url, html):
  soup = BeautifulSoup(html, 'html.parser')
  for link in soup.find_all('a'):
    path = link.get('href')
    print(path)

    if path and path.startswith('/watch?'):
      path = urljoin(url, path)

    yield path

"commandMetadata": {
  "webCommandMetadata": {
    "url": "/watch?v=HmP_wGYw1_g\u0026list=PLu0ocO48LFms5WsI1ipaeanxqRjn2fC_5\u0026index=2",

Ich habe vergessen, dass JavaScript natürlich ausgeführt wird, also funktioniert es nicht, wenn ich die Elemente anspreche, die ich unter den untersuchten Elementen gefunden habe.

Hat jemand eine Idee, was ich an dem Code verändern müsste, damit der alle /watch-Links extrahiert und diese ausgibt?

Gut wäre, wenn man noch https://www.youtube.com hinzufügen könnte.

...zur Frage

Bootloader Unlock code Huawei?

Hi,

Ich brauche den Unlock Code für mein Honor 6x. Ich öffne also diese Website http://emui.huawei.com/en/ und gehe auf Downloads und dann auf Unlock Bootloader. Nach dem Log in Fenster komme ich nicht auf die Unlock Bootloader Page sondern wieder auf die oben genannte Startseite . Und so geht das die ganze Zeit im Kreis. Jemand ne Idee was da los ist ?

...zur Frage

Django: Profile?

Django/Python Error: Profile matching query does not exist.

Ich programmiere eine Website auf der man Benutzern folgen kann und deren Beiträge sehen kann im feed.html.

Ich habe kleine änderungen vorgenommen die aufeinmal im feed.html einen error anzeigen.

Ich bin meine Spuren wieder zurück gegangen und kann echt nicht verstehen wie das passieren konnte. Ich habe bei forms.py den block "Media" rausgenommen da dieser code nicht geklappt hat. In dem Code geht es darum das man anstatt Text auch bilder posten kann, hat leider nicht geklappt.

Naja. Als ich diesen block wieder entfernt habe kam dieser error, ich weiß nicht wie ich das fixen kann.

ich poste mal meine seiten.

views.py

 from blog.models import Post
from notification.models import Notification
from django.core.checks import messages
from django.shortcuts import render, get_object_or_404, redirect
from django.contrib.auth.mixins import LoginRequiredMixin, UserPassesTestMixin
from django.contrib.auth.models import User
from django.urls import reverse_lazy, reverse
from django.views.generic import ListView, DetailView, CreateView, UpdateView, DeleteView
from .models import Comment, Post
from .forms import CommentForm
from django.http import HttpResponseRedirect, JsonResponse
from users.models import Profile
from itertools import chain
from django.contrib.auth.decorators import login_required
from django.contrib import messages
from django.core.paginator import Paginator, EmptyPage, PageNotAnInteger
from django.template.loader import render_to_string
import random

""" Home page with all posts """
def first(request):
    context = {
        'posts':Post.objects.all()
    }
    return render(request, 'blog/first.html', context)


""" Posts of following user profiles """
@login_required
def posts_of_following_profiles(request):


    profile = Profile.objects.get(user = request.user)
    users = [user for user in profile.following.all()]
    posts = []
    qs = None
    for u in users:
        p = Profile.objects.get(user=u)
        p_posts = p.user.post_set.all()
        posts.append(p_posts)
    my_posts = profile.profile_posts()
    posts.append(my_posts)
    if len(posts)>0:
        qs = sorted(chain(*posts), reverse=True, key=lambda obj:obj.date_posted)


    paginator = Paginator(qs, 5)
    page = request.GET.get('page')
    try:
        posts_list = paginator.page(page)
    except PageNotAnInteger:
        posts_list = paginator.page(1)
    except EmptyPage:
        posts_list = paginator.page(paginator.num_pages)
  
    return render(request,'blog/feeds.html',{'profile':profile,'posts':posts_list})

forms.py

 from django import forms
from django.forms import fields, widgets
from .models import Post, Comment

class CommentForm(forms.ModelForm):
    body = forms.CharField(widget=forms.Textarea(attrs={'class':'form-control custom-txt','cols':'40','rows':'3'}), label='')
    class Meta:
        model = Comment
        fields = ['body',]

die seiten sind nicht vollständig, hab die unnötigen sachen rausgelassen.

...zur Frage

Beste AI zum Programmieren?

Hallo

Kennt von euch jemand eine AI welche gut zum Programmieren ist? Ich benötige eine AI welche mithilfe eines Bildes zb mit ein CSS code ausgeben kann mit welchem ich meine Webseite so gestalten kann sodass ws gleich wie auf dem Bild aussieht.

...zur Frage

Wie bekomme ich diesen Wert mit BS4?

Seite: Pegelstand Salzach, Mittersill (pegelalarm.at)

HTML Code:

from re import S
import requests
from bs4 import BeautifulSoup
import csv
  
URL = "https://pegelalarm.at/paw/chart.html?commonid=203075-at"
r = requests.get(URL)
  
soup = BeautifulSoup(r.content, 'html5lib')
  
value = soup.find('div', attrs = {'id':'d2l2'}).get_text()

print(value)

Ouptut:

{{station.yvalue|numberpa}} {{yUnit}}

Ich habe schon alles probiert bekomme aber immer statt dem Wert "257 cm" den Output {{station.yvalue|numberpa}} {{yUnit}}.

Hoffe es kann mir jemand weiterhelfen :)

...zur Frage

Python wie löse 'NoneType' object is not subscriptable?

Hallo!

Ich schreibe ein kleines Pythonprogramm, das als Web Crawler fungieren soll.Leider erhalte ich in Zeile 36 ein Fehler:

  brand = make_rating_sp[0].img["title"].title()
TypeError: 'NoneType' object is not subscriptable

Leider, finde ich keine Lösung. Wie könnte ich diesen Fehler lösen? Danke im Voraus!

make_rating_sp[0].img is None.

from bs4 import BeautifulSoup as soup  # HTML data structure
from urllib.request import urlopen as uReq  # Web client

# URl to web scrap from.
# in this example we web scrap graphics cards from Newegg.com
page_url = "http://www.newegg.com/Product/ProductList.aspx?Submit=ENE&N=-1&IsNodeId=1&Description=GTX&bop=And&Page=1&PageSize=36&order=BESTMATCH"

# opens the connection and downloads html page from url
uClient = uReq(page_url)

# parses html into a soup data structure to traverse html
# as if it were a json data type.
page_soup = soup(uClient.read(), "html.parser")
uClient.close()

# finds each product from the store page
containers = page_soup.findAll("div", {"class": "item-container"})

# name the output file to write to local disk
out_filename = "graphics_cards.csv"
# header of csv file to be written
headers = "brand,product_name,shipping \n"

# opens file, and writes headers
f = open(out_filename, "w")
f.write(headers)

# loops over each product and grabs attributes about
# each product
for container in containers:
    # Finds all link tags "a" from within the first div.
    make_rating_sp = container.div.select("a")

    # Grabs the title from the image title attribute
    # Then does proper casing using .title()
    brand = make_rating_sp[0].img["title"].title()

    # Grabs the text within the second "(a)" tag from within
    # the list of queries.
    product_name = container.div.select("a")[2].text

    # Grabs the product shipping information by searching
    # all lists with the class "price-ship".
    # Then cleans the text of white space with strip()
    # Cleans the strip of "Shipping $" if it exists to just get number
    shipping = container.findAll("li", {"class": "price-ship"})[0].text.strip().replace("$", "").replace(" Shipping", "")

    # prints the dataset to console
    print("brand: " + brand + "\n")
    print("product_name: " + product_name + "\n")
    print("shipping: " + shipping + "\n")

    # writes the dataset to file
    f.write(brand + ", " + product_name.replace(",", "|") + ", " + shipping + "\n")

f.close()  # Close the file

...zur Frage

Wie sollte ich mein Blog System für meine Website machen?

Ich mache momentan mit html, css und javascript eine Website mit einem Blog.

Wie sollte ich das System machen? Sollte ich keine Funktion machen um Beiträge zu erstellen und alles in einem Javascript system erstellen lassen, im Code direkt. Oder eine Page wo ich Beiträge erstellen kann, nur so falls es wichtig ist, es ist ein System mit mehreren Seiten.

Wie folgt auf gebaut: Hauptseite mit Kategorien -> In der Kategorie sind die Beiträge zur Kategorie.

Also sind noch 3 Seiten vor den Beiträgen.

...zur Frage

Data Scraping: Wieso wird keine Auslastung angegeben?

Hi,

mein Fitnessstudio hat auf seiner Webseite einen Zähler, wie viele freie Plätze es gibt. ich wollte mir diese "scrapen" und einen Graph erstellen, sodass ich weiß, wann am wenigsten los ist.

Ich habe folgenden Code geschrieben:

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time

url = "https://www.jumpers-fitness.com/studios/augsburg-haunstetten"
try:
  while True:
    response = requests.get(url)
    soup = BeautifulSoup(response.content, "html.parser")
    auslastung_element = soup.find("span", class_="js-free-spots")

    if auslastung_element is None:
      print("Das Auslastungselement wurde nicht gefunden.")
    else:
      auslastung = auslastung_element.text.strip()
print(auslastung)
      timestamp = pd.Timestamp.now()
      data = pd.DataFrame({"Timestamp": [timestamp], "Auslastung": [auslastung]})
      data.to_csv("auslastung.csv", mode="a", index=False, header=False)

    time.sleep(60) # 1 Stunde = 3600 Sekunden
except Exception as e:
  print("Fehler aufgetreten:", e)
  input("Drücke Enter, um das Programm zu beenden.")

Dieser funktioniert aber nicht und gibt keine Auslastung an.

Kann mir jemand helfen?

Danke

...zur Frage

Text unter Bild in HTML hinzufügen?

Ich habe ein Bild. Darunter habe ich ein Text platziert. Allerdings geht der Horizontal von links nach rechts, was es auch soll. Nur soll er da anfangen, wo auch das Bild beginnt und enden, wo das Bild endet. In den zwei Bildern könnt ihr erkennen, wie es es gerade habe und nicht will und wie ich es gerne haben würde.

<!DOCTYPE html>
<html>
<head>
    <title>Film- und Serienbeschreibungen</title>
  


  <style>
    img {
        display: block;
        margin: 0 auto;
        width: 1000px;
        border-radius: 10px;
    }


    body {
        text-align: center;
    }


    p {
        
    }
  </style>
</head>
  <body>
    <img src="mrrobotscene.jpg">
    <h1>Mr. Robot - Beschreibung</h1>
    <p>Mr. Robot ist eine US-amerikanische Fernsehserie, die von Sam Esmail entwickelt wurde. Die Serie handelt von Elliot Alderson, einem jungen Programmierer, der für eine Cyber-Sicherheitsfirma arbeitet und in seiner Freizeit zum Hacker wird. Elliot leidet unter sozialen Ängsten und Depressionen und verfällt in eine Art Schizophrenie, die von seinem imaginären Freund, Mr. Robot, ausgelöst wird</p>
    
  </body>
</html>

...zur Frage

Mit HTML <Button> Python Script ausführen?

Hallo! Ist es möglich, mit zum Beispiel einem Button, auf einer HTML Seite ein Python script auszuführen? Ich habe bereits im Internet danach gesucht, die dort gezeigten Dinge waren mir allerdings zu kompliziert. Geht es aus einfacher? (Vielleicht so: <button script="click.py">Klick Mich!</button>)

Ist das nur mit HTML umsetzbar?

Danke für jede Antwort!

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen