Crawler geht nicht weiter, wenn fertig mit einer URL?

Hallo zusammen,

ich arbeite gerade an einem Python-Crawler, der spezifisch für die Website beispielurl.de entwickelt wurde. Mein Ziel ist es, verschiedene Unterseiten zu crawlen, die jeweils unterschiedlichen Kategorien angehören, wie z.B. "Flaschenhersteller" und "Kartenhersteller". Der Crawler soll automatisch von einer Kategorie (z.B. beispielurl.de/Flaschenhersteller/page-1, beispielurl.de/Flaschenhersteller/page-2, usw.) zur nächsten wechseln (z.B. beispielurl.de/Kartenhersteller/page-1, beispielurl.de/Kartenhersteller/page-2, usw.), sobald alle Seiten der aktuellen Kategorie durchlaufen sind.

Leider funktioniert der Wechsel zwischen den Kategorien nicht wie erwartet. Der Crawler verarbeitet alle Seiten der ersten Kategorie korrekt, aber anstatt zur nächsten Kategorie zu wechseln, beginnt er wieder von vorn bei der ersten Kategorie, ohne die nachfolgenden Kategorien zu berücksichtigen.

Hier ist ein vereinfachter Ausschnitt meines Codes:

def process_page(self, url):
  soup = self.fetch_page_with_selenium(url)
  links = self.extract_PLZ_links(soup)

  for link in links:
    self.fetch_PLZ_details(link)

def run(self):
  try:
    for code in self.postal_codes:
      page_number = 1
      has_more_pages = True

      while has_more_pages:
        url = f"{self.base_url}/suche/-/{code}?page={page_number}"
        soup = self.fetch_page_with_selenium(url)
        links = self.extract_PLZ_links(soup)

        if links:
          for link in links:
            self.fetch_PLZ_details(link)
            page_number += 1
        else:
          has_more_pages = False
  finally:
    self.driver.quit()
    self.csv_handler.close_csv()

Hersteller = [Flaschenhersteller, Kartenhersteller, etc. ]
crawler = WebCrawler("https://beispielurl.de", Hersteller)
crawler.run()

Hat jemand eine Idee, warum der Crawler nicht zur nächsten Kategorie wechselt und wie ich dieses Problem beheben könnte? Ich bin für jeden Tipp dankbar!

HTML, Webseite, programmieren, Code, Python, Webentwicklung, crawler, Python 3
Ich will mein eigenes Spiel programmieren reicht der PC?

Huhu liebe leut,

Ich habe ein sehr kleines budget bin aber im besitz einer Microsoft visual studio 2022 und maya mit lizens. Meine frage ist nun reicht der HP Elite mini PC mit folgender Spezifikation:

Ryzen 5 2400G 4 kern 3.6ghz

integrierte Vega 11

32gb ram ddr4 3,200

1tb ssd

4TB Portable 2,5" Externe HDD, USB 3.2 Gen 1USB-betrieben

Usb wireless und bluetooth (ac-bc) adapter.

Ich war in planung ein spiel mit retro liebe zu erstellen also titel wie castlevania curse of darkness, kya dark lineage, blood omen 2, primal, tomb raider, mario, crash bandicoot, dragonball budokai tenkaichi 3 und viele mehr an die ich mich orientieren möchte genauer auf mein konzept brauch ich jetzt nicht einzugehen

das spiel soll in 720p mit grafik einstellung circa 1280x720 16:9 und anderen auflösungen und scales wie 4:4 mit hoch mittel und schwach konfiguration.

Jetzt zur frage soll ich mehr geld investieren weil das wäre so ein kleiner traum ich würde das spiel dann natürlich privat und evt mit media fire kostenlos teilen. ich will einfach ein spiel mit unlimiterten spiele elemente oder weil es andere gründe warum nur das und das zu realisieren, spiele elemente kombinieren ganz viele modis und sowas wie z.b survival funktionen sind dann optional aktivierbar ist ja ganz easy ein widget mit balken der zeitlich runter geht und am item system programierbar ist der dann events triggert statuseffekte und mit item var sich aufühlen lässt, nur z.b also was sagt ihr?

PC, Computerspiele, programmieren, PC bauen, PC-Konfiguration, Retrogaming, Spiele entwicklung, Kaufberatung PC, Unreal Engine 5
Wann sollte man eurer Ansicht nach die Arbeit kündigen?

Ich arbeite seit Jahren für eine Gesellschaft. Ich stehe vor der Herausforderung nicht kündigen zu können und gleichzeitig nicht bleiben zu können :(

Neben meinem Studium begann ich für die Gesellschaft zu arbeiten. Mit der Zeit wurde ich nach und nach in verschiedene Abteilungen eingesetzt. Nach dem Studium arbeitete ich in Vollzeit aber es war zunehmend etwas komplizierter da ich mich mein Urlaub mit mehreren Abteilungen abstimmen musste und teils mehrere Signaturen und Telefonnummern hatte..

Als Vollzeitkraft ging das einfach nicht so einfach und habe darum gebeten nur noch in einer Abteilung zu arbeiten, das hatte große Auswirkungen, dadurch hatte mein direkter Vorgesetzter keinerlei Ahnung von meiner Arbeit. Er dient quasi nur als Ansprechpartner für Urlaubsplanung, Krankmeldungen und allgemeine organisatorische Fragen wie Brandschutz- Unterweisungen oder die Beantragung von Schulungen oder einen neuen Computer...

Letztendlich arbeite ich viel eng mit der Direktion , die allerdings noch weniger Ahnung von meiner Arbeit hat.

Meine Arbeit besteht hauptsächlich darin, Datenbanken zu initiieren und diese – umzusetzen, irgend welche Skripte um Systeme zu automatisieren oder einfach Kosten einzusparen. Manchmal werde ich einfach nach meine Meinung gefragt. Aber die Arbeit selbst oder die Projekte werden dann von irgend welche Kollegen ausgeführt, meistens Aushilfen, Azubis oder irgend welche Mitarbeiter. Effektiv arbeite ich jedoch kaum..

Mein Arbeitsalltag sieht folgendermaßen aus:

  • Ankunft im Büro, Begrüßung der Kollegen, Besuche dann mit irgend einen Kollegen die Cafeteria
  • Erst danach setze ich mich auf dem Schreibtisch, durchfliege E-Mails und sage Termie ab oder zu.
  • Danach folgt meistens eine unnötiges "joure fixe"
  • Dann führe ich ein paar Telefonate mit paar Kollegen und verliere unnötig Zeit weil wir über belangloses Quatschen, etwa den neuesten Tratsch.
  • Und dann ist schon knapp 12 Uhr, also gehe ich mit Kollegen zum Mittagessen.
  • Ab etwa 13:00 Uhr bin ich theoretisch ready zum Arbeit, häufig jedoch fahre ich mit dem Geschäftsauto in die Zentrale für irgend ein Meeting weil dort die Abteilungsleitung sitzt - weil ich anschließend wieder das Auto zurück Fahre und das Fahrzeug abgenommen wird und alles natürlich Arbeitszeit ist, verstreicht erst recht unnötig Zeit.
  • Wenn ich wieder Zurück bin ist meistens auch schon Feierabend also fahre ich gleich wieder.

An Home-Office-Tagen ist der Arbeitsalltag noch weniger produktiv. Präsentationen, die ich halte, bereite ich meist nur kurzfristig vor.

All diese Faktoren führen dazu, dass ich meine Arbeit hasse. Sie ist sinnlos und es macht keinen Unterschied, ob ich da bin oder nicht. Das habe ich sowohl der Direktion als auch meinem Vorgesetzten gesagt. Da die Arbeitseinteilung vom Vorstand so vorgegeben ist, "ist es eben so" - und so verbringe ich Tag für Tag und sehe keinen Ausweg.

Ich hatte in den letzten Monaten einige Vorstellungsgespräche durch Empfehlungen, durchaus interessante Arbeitgeber, die mich sofort einstellen würden, aber die Bezahlung ist meist deutlich schlechter und da ich mich an einen gewissen Lebensstandard gewöhnt habe, möchte ich auch nicht weniger verdienen. Zumal ich sehr viele Vergünstigungen erhalte, wie z.B. eine perfekte Parkplatzzuweisung, um die mich alle beneiden, und viele andere Vorteile, von denen man bei anderen Arbeitgebern nur träumen kann.

Also weiß ich einfach nicht weiter - ich kann nicht bleiben und gehen kann ich auch nicht :( Es gibt diverse Kollegen, die in einer ähnlichen Situation sind, nur sind die direkten Vorgesetzten deutlich kompetenter - und alle sagen, dass ich absolut dumm wäre, wenn ich kündigen würde und dass es die schlechteste Entscheidung wäre, die ich jemals treffen könnte.

Ich möchte nicht so enden wie die meisten vom Vorstand, die sind schon seit teils 20 Jahren im Unternehmen, für mich eine absolute Horror-Vorstellung die nächsten Jahre so zu verbringen.

Arbeit, Software, Kündigung, Studium, Job, Geld, programmieren, Karriere, Arbeitsalltag, Firma, Organisation, Soziales, Unternehmen
Ab wann beginnt Full-Stack Entwicklung im Webbereich und wie sieht es mit dem Gehalt aus?

Hallo liebe Community,

kurze Einleitung:

Ich bin Junior Webentwickler seit zirka 1 Jahr bei einer (relativ) kleinen Firma. Wir arbeiten viel mit Freelancer zusammen.

Ich bin mit HTML / CSS / JS eingestiegen und programmiere hier jetzt hauptsächlich über Wordpress die Websiten und Plugins.

Dazu wird bekannterweise → php genutzt. Daher geht hier Jquery, PHP, JS, MySQL, Git/hub und das Wissen in vielen bewährten Plugins und derer Programmierung für erweitere Funktionen einher.

Daher mache ich Backend und Frontend Entwicklung gleichermaßen. Das kann ich auch schon relativ gut, ich musste hier mir alles selbst beibringen und hab hauptsächlich mit Udemy und unserer tollen AI ChatGPT Hilfe mir alles beigebracht.
Die Codereviews hab ich mir von der AI machen lassen, Fehler aufzeigen, den Code bewerten und Verbesserungsmöglichkeiten zeigen.

So bin ich nun der Meinung, ein relativ solides Wissen angeeignet zu haben.
Jetzt zu meinen Fragen:

Frage 1:
Ab wann dürfte ich mich Full-Stack-Entwickler nennen? Ich hab großen Respekt vor erfahrenen Full-Stack-Entwicklern, weil da eine Menge zugehört. Aber ist es schon Full-Stack, wenn man Frontend und Backend macht?

Frage 2:
Ich arbeite in MV und bekomme noch 2600 € brutto gezahlt. Es ist noch relativ niedrig, weil ich zu Anfang viel gelernt habe, die ersten Monate, um den Anforderungen gerecht zu werden. 2400 € in den ersten 6 Monaten und bis jetzt (12. Monat) 2600.

Was wäre so eine faire Preisspanne? Die Firma gibts bald seit 10 Jahren und wir sind kein Start-up mehr. Auch läuft es gerade gut und ich konnte alle Aufgaben bewältigen, die mir seither gestellt wurden. Wenn ich auch für manche länger gebraucht habe (aber dafür bin ich ja auch ein Junior). Mich würde interessieren, wo es fair wäre? Ich möchte bald in die Gehaltsverhandlung gehen und wäre sehr dankbar über Ratschläge und eure Meinungen.

Liebe Grüße

Beruf, HTML, Webseite, programmieren, CSS, JavaScript, HTML5, Entwicklung, PHP, Programmiersprache, Webdesign, Webentwicklung, Backend, Frontend
Haskell: Was meint der Compiler damit?

Hallo,

einmal der Code:

module Task29 where


import System.IO



main :: IO ()
main = do
  hSetBuffering stdout NoBuffering  -- needed depending on your operating system and settings
  putStrLn "Bitte gebe die erste Zahl ein:"
  x1 <- readLn
  putStrLn "Zweite"
  x2 <- readLn
  let sum =  x1 + x2
  print ("Die Summe ist:" ++ show(sum))
  result <- while (x1,1) (\x -> x/=0) (\(x,count) -> do     putStrLn "Bitte gebe die erste Zahl an"
                                                            x1 <- readLn
                                                            putStrLn "Zweite"
                                                            x2 <- readLn
                                                            let sum = x1 + x2
                                                            print ("Die Summe ist:" ++ show(sum))
                                                            return (x1,(count+1)))
  print ("Anzahl additionen:" ++ show(snd(result)))															
  
  
while :: a -> (a -> Bool) -> (a -> IO a) -> IO a
while a p body = loop a
                 where loop x = if p x then do x'<- body x
                                               loop x'
                                       else return x 

Und einmal die beschwerde:

das Gleich kommt bei let sum = x1 + x2, bei show und bei der 1 im Tupel (x1,1), und bei /=0.

Ich verstehe nicht was der mir damit sagen will und wie ich das lösen kann.

Schonmal danke:))

Bild zu Frage
programmieren, Informatik, Haskell
Wie greife ich auf eine MySQL Datenbank zu?

Hallo :)

ich habe an ein neues Projekt gemacht, und bin jetzt absolut planlos.
Das ist alles ziemliches Neuland für mich, darum kann ich auch kaum googeln, weil ich die Basics nicht verstehe.
Ich habe im graphischen Interface von phpMyAdmin eine DB erstellt, inklusive Tabellen und alles - passt.

Dann habe ich einen Javascript code auf der Website, weil php ja bei jeder kommunikation zum Server die Seite neu laden muss.

Nun finde ich aber nur PHP Möglichkeiten, mit der Datenbank zu kommunizieren.

Ich habe auch von Ajax und Flask gelesen, aber habe kein plan wo ich die her bekomme, wie ich die auf dem Server installiere, oder wie ich die benutze. Oder muss man die überhaupt installieren?

Ich werde jedenfalls nicht ganz klug daraus, wie diese API's die Datenbank finden, weil in den Tutorials und Codes eigentlich nie eine url, ip, id oder auch nur der Datenbankname fällt (außer bei den PHP Sachen).

Kann mir vielleicht jemand einen Einsteiger - Crashkurs geben, damit ich zumindest einigermaßen verstehe, wie das alles funktioniert, und die Tutorials nicht komplett Bahnhof für mich sind?

Es geht um eine Anwendung zum Lernen. Man erstellt eine Lektion, diese wird in einer Tabelle gespeichert. Dann gibt man zu der Lektion Fragen und Antworten ein, diese werden in einer anderen Tabelle gespeichert. Dann soll man die Fragen in einem Textfeld beantworten, und dann mit der richtigen Antwort aus der Datenbank vergleichen können.

Danke.

SQL, HTML, IT, Webseite, programmieren, JavaScript, AJAX, Datenbank, Informatik, MySQL, PHP, Webentwicklung, API, phpMyAdmin
Warum ist C# ziemlich gewöhnungsbedüftnigt?

Hallo, ich lerne in der Schule C# und verstehe es immer noch nicht wirklich nach 3 Jahren. Im Unterricht sind sowieso nur wenige bei mir wirklich gut mit der Sprache vertraut und werden auch bei diesen Fach logischerweise maturieren.

Die anderen sehen ein Grund nach der Matura niemals etwas mit Programmieren zu tun zu haben im Studium. Ich denke noch nach, da ich nach der Matura wahrscheinlich ein andere Sprache lernen möchte wie Python (habe zum Glück Zeit wegen Zivildienst), da die Sprache zu C# ähnlich aber etwas einfacher ist. Jedoch habe ich von einem Professor erzählt bekommen, dass wenn man Programmieren studieren möchte, dass man überall positiv sein muss (sonst schafft man das Semester und Studium nicht) und die Tests daraus bestehen, mit einem Schreiber und Papier ein Programm zu schreiben.

Wir verwenden dort Visual Studio 2019 oder 2022 und machen zurzeit Windows Forms mit ADO.NET und GDI. Wir haben auch Basics, Objektorientiertes Programmieren und Algorithmen gelernt, aber die Aufgaben, die wir bekommen haben, haben wir nie schnell verstanden und der Professor will die Aufgabe so schnell wie möglich fertig haben.

Ich merke auch besonders, dass man hier kein Programmieren lernt, sondern dass man sich den Stoff hineinhämmert und die Mitarbeit ist der Person nicht wichtig, sondern nur die Testnote zählt, wo man erlaubt wird, dass man alle Programmier Aufgaben auf eine Mappe ausdrucken darf.

Ich finde das auch schade, weil ich würde schon gerne Sachen programmieren können und vor Dezember 2022 hätte ich auch das Programmieren fast aufgegeben.

Schule, Programmierer, programmieren, C Sharp, Programmiersprache, Visual Studio
MacBook Pro zum Programmieren?

Hallo liebe Community,

ich lerne momentan Coding über die CS50 Kurse von HarvardX. Ich bin beim ersten Kurs „CS50P: Introduction to Programming with Python”. Darauf folgen sollen “CS50X: Introduction to Data Science”, “CS50's Web Programming with Python und JavaScript” und zu guter letzt “CS50's Introduction to artificial intelligence”. Ich werde noch einige weitere Kurse absolvieren, die mit Machine Learning, Deep Learning zu tun haben.

Ich will auch eine Ausbildung zum FI Anwendungsentwickler absolvieren und später noch in diese Richtung studieren.

Meine Frage: Hat ein MacBook Pro 14" mit dem M3-Pro Chip (Base) und 36GB RAM genug Power, um das Programmieren mit Machine Learning zu lernen und vielleicht auch etwas fortgeschrittener damit zu arbeiten? Ich bekomme das Gerät nämlich fast geschenkt. Also habe ich lange Spaß damit? So für die nächsten 3-4 Jahre des Lernens.

Ich will nur wissen, ob ich mit dem Gerät gut fahre. Bitte keine Tipps wie “Kauf dir lieber Windows” solche Diskussionen will ich gar nicht erst starten. 😂 Ich liebe einfach die Effizienz von den neuen MacBooks.

Ich hörte nur, dass Machine Learning doch mehr Leistung beansprucht und die GPU und RAM doch etwas mehr sein dürfen. Vielleicht reicht das ja für den Anfang.

liebe Grüße

Lernen, programmieren, künstliche Intelligenz, MacBook Pro, Programmiersprache, Python, web-development, Machine Learning
Jemand hier, der Schaltpläne erstellen kann?

Ich arbeite an einer Universität an meiner Promotion. Wir haben in unseren Laboren ein Gerät zur Erfassung der Schwindverformung von Beton. Das Prinzip ist ganz simpel!

Das Gerät hat einen Laserdistanzmesser. Der Beton wird in einen Kegel gefüllt und die Messung gestartet. Die Messung läuft über mindestens 24 Stunden. Dabei wird pro Sekunde ein Messwert aufgezeichnet und zwar die Distanz zwischen Laser und Betonoberfläche. Das besondere an diesem Gerät ist, dass der Hersteller angibt, dass die Messetoleranz im Bereich vom 0,5 ym (= 0,0005mm) liegt. Ich brauche dieses Gerät mehr oder weniger ständig und würde es sogar gerne gleichzeitig mit mehreren Proben laufen lassen!! Aber wir haben nur ein Gerät dieser Art!

Daher dachte ich mir, dass ich einen Laserdistanzmesser vom Baumarkt mit einer provisorischen Halterung so psotioniere, dass ich eine Distanz messen kann. Und dann würde ich diesen Kegel vom Hersteller mittels Epoxidharz nachbilden und einfach regelmäßig die Distanz vom Distanzmesser ablesen. Aber die Distanzmesser vom Baumarkt haben eine Toleranz von ca. 2mm!!! Wie kann ich denn so einen Distanzmesser mit einer Genauigkeit von 0,5 ym bauen? Am besten so, dass die Distanz irgendwie einmal pro Sekunde oder so aufgezeichnet wird!?

Ich würde mit meinem Thema meiner Arbeit deutlich schneller vorankommen! Falls jemand das KnowHow hat und mir einen Tipp geben kann, wäre ich mega dankbar!!!

Computer, Technik, Laser, Elektronik, programmieren, Wissenschaft, Schaltplan

Meistgelesene Fragen zum Thema Programmieren