Crawler – die neusten Beiträge

BITTE KEINE SCHERZANTWORTEN. NUR ANTWORTEN WENN MAN SICH DAFÜR INTERESSIERT / ERFAHRUNG DAMIT HAT.

Seit Jahren verfolge ich einen Subreddit, auf dem Leute ohne Vorurteile ihre Erfarhung bei Begegnungen mit humanoiden Wesen teilen.

Mir fällt dabei auf, dass so gut wie alle Begegnungen in Nord- und Südamerika stattfinden. Vor allem in Kanada und den USA.

Habt ihr in Europa sowas ähnliches schonmal gesehen? Ich habe in den vergangenen Monaten mehrmals mal das größte Waldgebiet Österreichs nachts durchsucht.
Als Hilfsmittel hierfür hatten wir ein Pulsar Wärmebildfernglas.

Es gab zwar schon ein paar mal wirklich komische Situationen, als plötzlich der ganze Wald still war, und auch einen Ort an dem bei den Bäumen die Baumrinde an allen Seiten grellgrün waren, das wars dann aber auch schon wieder.

Hier ein Link zum Subreddit:

https://www.reddit.com/r/CrawlerSightings/new/

Hi, ich suche einen Dungeon Crawler ähnlich wie Hero Quest indem man Ausrüstungen für das nächste Kapitel behalten kann und evtl auch auflevelt. Allerdings ohne Dungeon Master, in deutsch und Solo spielbar. Ich habe Massive Darkness getestet, welches mir gut gefiel, aber im Basisspiel gibt es quasi keine Kampagne wo man die Sachen behält. Bevorzugt wird ein Kampfsystem mit Würfeln, aber da bin ich relativ offen

Hallo, bei Google werden immer noch Daten angezeigt die schon längst von der Website gelöscht wurden. Bei Google findet man die Daten noch wenn man danach sucht aber der Link ist nicht mehr aufrufbar. Wie lange dauert es bis man nichts mehr darüber bei Google findet ?

grüsse Bernd

Hallo zusammen,

ich arbeite gerade an einem Python-Crawler, der spezifisch für die Website beispielurl.de entwickelt wurde. Mein Ziel ist es, verschiedene Unterseiten zu crawlen, die jeweils unterschiedlichen Kategorien angehören, wie z.B. "Flaschenhersteller" und "Kartenhersteller". Der Crawler soll automatisch von einer Kategorie (z.B. beispielurl.de/Flaschenhersteller/page-1, beispielurl.de/Flaschenhersteller/page-2, usw.) zur nächsten wechseln (z.B. beispielurl.de/Kartenhersteller/page-1, beispielurl.de/Kartenhersteller/page-2, usw.), sobald alle Seiten der aktuellen Kategorie durchlaufen sind.

Leider funktioniert der Wechsel zwischen den Kategorien nicht wie erwartet. Der Crawler verarbeitet alle Seiten der ersten Kategorie korrekt, aber anstatt zur nächsten Kategorie zu wechseln, beginnt er wieder von vorn bei der ersten Kategorie, ohne die nachfolgenden Kategorien zu berücksichtigen.

Hier ist ein vereinfachter Ausschnitt meines Codes:

def process_page(self, url):
  soup = self.fetch_page_with_selenium(url)
  links = self.extract_PLZ_links(soup)

  for link in links:
    self.fetch_PLZ_details(link)

def run(self):
  try:
    for code in self.postal_codes:
      page_number = 1
      has_more_pages = True

      while has_more_pages:
        url = f"{self.base_url}/suche/-/{code}?page={page_number}"
        soup = self.fetch_page_with_selenium(url)
        links = self.extract_PLZ_links(soup)

        if links:
          for link in links:
            self.fetch_PLZ_details(link)
            page_number += 1
        else:
          has_more_pages = False
  finally:
    self.driver.quit()
    self.csv_handler.close_csv()

Hersteller = [Flaschenhersteller, Kartenhersteller, etc. ]
crawler = WebCrawler("https://beispielurl.de", Hersteller)
crawler.run()

Hat jemand eine Idee, warum der Crawler nicht zur nächsten Kategorie wechselt und wie ich dieses Problem beheben könnte? Ich bin für jeden Tipp dankbar!

Moin an alle,

ich betreibe einen kleinen Onlineshop über Shopify und einige Seiten, deren URLs ich gerne in andere Sprachen übersetzen möchte, würden automatisch per 304 redirect anstelle eines 301 redirects behandelt werden.

Zur Info: Die fremdsprachigen Seiten existieren schon, doch wurden die URLs dieser Seiten bis jetzt immer in Englisch ausgegeben.

Ich bin nicht vom Fach und lese mir alles selber an, aber hier werde ich nicht schlau aus den Onlinequellen.

Gibt ein 304 redirect an Google auch die Info des permanenten Umzugs der Seite aus, nur mit der Info, dass diese nicht erneut gecrawlt werden muss?

Weil intuitiv hätte ich jetzt gesagt, ich bräuchte ein 301 redirect...

Vielen Dank schon einmal vorab.

Guten Morgen zusammen,

weiß jemand von euch, ob es möglich ist, eine Website incl. der Unterseiten als PDF abzuspeichern, so dass man das Ganze auch anschauen und durchklicken kann, wenn man gerade kein Internet hat?

Danke für alle Tipps!

Hallo, ich hab eine Frage. Ich hab einen Crawler, bei dem alle technischen Geräte (Servo, Motorsteuerung, Empfänger, motor) wasserdicht (verbaut) sind. Das auto wird nomlerweise mit einem 3s Lipo betrieben. Kann man jetzt mit diesem crawler auch durch einen kleinen bach/fluss fahren? Ich würde natürlich nicht allzu tief reinfahren, halt so, dass der großteil des autos noch über Wasser ist. Der akku ist im auto aber so verstaut, dass er durchaus mal unter wasser sein könnte. Wäre dass schlecht für ihn, oder sogar gefährlich? Danke!

Hallo,

ich habe einen String mit folgenden Inhalt:

<font rwr="1" size="4" style="font-family:Arial"><font face="Arial"><span style="font-size: 18.6667px;">Edelrost Garten Feuerschale Pflanzenschale Rost aus Metall mit Konus Blumen </span></font><div><font face="Arial"><span style="font-size: 18.6667px;">

Hier möchte ich als Ausgabe "Edelrost Garten Feuerschale Pflanzenschale Rost aus Metall mit Konus Blumen " haben.

Allerdings ist es wichtig, dass ich den Text zwischen dem HTML Teil bekomme, da der HTML Teil immer gleich bleibt, sich der Text aber ändert.

Es kann z.B. auch jederzeit so aussehen:

<font rwr="1" size="4" style="font-family:Arial"><font face="Arial"><span style="font-size: 18.6667px;">Meine Freundin ließt gern Bücher </span></font><div><font face="Arial"><span style="font-size: 18.6667px;">

In diesem Beispiel hätte ich gern mit dem gleichen Code "Meine Freundin ließt gern Bücher" raus.

Wie mache ich das?

Danke im Voraus!

LG
Niklas

PS: Wenn mein Ansatz falsch ist (ich mache es mit BeautifulSoup) gerne schreiben wie ich es richtig mache, da ich mit den soup.find commands nicht wirklich vertraut bin.

Hi,

kennt jemand ein einfaches Tool wie man Vorgänge, also eine Art Bot, auf Websiten programmieren kann (habe nur etwas Python Kenntnissr, soll keine zu komplexe Sprache sein)?

Was es können soll:

Auf einer Website auf etwas klicken, wenn dieser Button vorhanden ist, und das auch wiederholt, in Schleifen etc.

Hallo, über mein Google Analytics sehe ich teilweise in Echtzeit dass plötzlich 30-100 Besucher aus Chicago auf meiner Website sind. Die Zugriffe kommen direkt. Es sieht nicht danach aus, als wären das echte Besucher sondern eher Spam. Was kann das sein? Wie bekomme ich das in den Griff?

Was bedeutet Crawler beim LKW und wofür benutz man es?

Ich möchte gern den Text einer Website einer linguistischen Analyse unterziehen (bin aber leider nicht aus dem Fach). Als Analyse-Programm habe ich Gephi gewählt. Jetzt stehe ich vor dem Problem, dass ich lediglich den Website Text herausfiltern möchte. Ich möchte auf gar keinen Fall die gesamte Website abspeichern müssen... die ist nämlich schon fast unverschämt groß und nicht in sich konsistent. Funktioniert das irgendwie oder muss ich alles einzeln kopieren?

Ich habe es bereits mit dem HTTrack Website Copier versucht, das funktioniert aber leider auch nur mäßig.

Hallo :)

habe gestern nacht The descent 1-2 angeschaut und fand die filme so der hammer. Nur das Ende des zweiten Teils ist Unklar. Ob diese Polizistin nun gefressen wird oder was auch immer mit ihr passiert. Also würde ich gerne wissen ob es auch einen 3. Teil gibt oder geben wird. Google kann mir auch nicht weiterhelfen.

Danke schonmal im voraus :-)