Tool zum Durchsuchen von Webseiten?

2 Antworten

Diese Anforderung ist sehr einfach umsetzbar, und für jemanden, der fit in einer (oder mehrerer) Programmiersprache(n) ist, binnen 30 Minuten oder weniger machbar.

Ob es da fertige klickbare Software gibt, weiß ich nicht, aber googel mal nach "scraper" bzw. "webscraper" oder "crawler" oder entfernt "spider".

Grundsätzlich muss man nur ...

  1. Seite runter laden.
  2. Text analysieren.
  3. Ergebnis formatieren.

... und das geht in nahezu jeder Programmiersprache ganz fix.

Aber ich könnte mir vorstellen, dass es dafür auch genügend fertige Software gibt, sowohl kostenlos, als auch kommerziell.

Naja, viel Erfolg bei der Suche! :)

Was du willst, ist ein Webcrawler.

Hier ist eine Liste von bekannten Programmen:

http://www.robotstxt.org/db.html

Ho wow danke. Das sind aber sehr viele. Kennst du dich da aus und kannst was empfehlen? 

Und sind das nicht eher tools mit denen man Webseiten runterladen kann um sie später offline zu nutzen?

0
@MJH1998

Das sind nur Crawler, die auf eine robots.txt zugreifen und die haben zu 99,9% überhaupt nichts damit zu tun, was du dir vorstellst.

Du kannst die Liste zwar mal durchgehen, aber es wird sich größtenteils um Suchmaschinenbots, Spamcrawler, oder Spider handeln, die nach Sicherheitslücken etc. suchen.

Lass dich von der Liste nicht verwirren! ><

1

Was möchtest Du wissen?