Frage von LABOON, 88

Wie errichte ich eine News Aggregator Website wie z.B. Google News ein. Was brauch ich alles?

Hilfreichste Antwort - ausgezeichnet vom Fragesteller
von TeeTier, Community-Experte für programmieren, 34

Nur ein Themenbereich? Nur auf Deutsch? Vermutlich (zumindest am Anfang) kaum Besucher?

Dafür dürfte ein billiger Shared-Hoster für 1€ pro Monat inkl. Domain reichen. Den Billig-Crawler dafür kannst du auch in PHP hinfrickeln und per Cron-Job anstoßen.

Arbeitsaufwand: Weniger als einen Tag, für jemanden mit genügend Erfahrung. Vielleicht 2 bis 3 Tage, wenn das Design auch schön "responsive" sein soll, und vielleicht ne ganze Woche für eine richtig schicke Seite.

Selbst wenn du ALLE Nachrichtenseiten Deutschlands mit einem Intervall von 5 Minuten abgrasen willst, dauert das insgesamt nur 2 bis 3 Sekunden, aber das ist dann aus technischen Gründen mit reinem PHP nicht mehr möglich, und du musst auf "etwas Richtiges" umsatteln.

Allerdings musst (bzw. solltest!) du den Crawler nicht auf dem selben Server wie das Web-Frontend laufen lassen, weshalb du erst mal bei deinem billigen 1€-PHP-Shared-Hoster bleiben kannst, und den eigentlichen News-Crawler zur Not auch bei dir zu Hause laufen lassen kannst, und dem Webserver, der deine Site hostet, alle paar Minuten ein paar Nachrichten pushen kannst.

Alles in allem sehr sehr einfach, aaaaaaber der Grund, dass die Welt nicht von News-Aggregatoren überschwemmt wird, dürfte a) die Marktmacht von Google sein, gegen die du kleiner Futzi sowieso nicht anstinken kannst, und b) die rechtlichen Probleme, die eigentlich gar keine Probleme sind, aber von den Verlags-Advokaten gerne mal als "Intelläctual Propärty" ausgelegt werden.

In den 90ern hat der Hacker Felix von Leitner (alias fefe) mal genau so einen Dienst aufgemacht (der hieß damals Paperboy) und wurde von den Verlagen in Grund und Boden verklagt. Am Ende hat fefe zwar gewonnen, aber ... auch lies dir die Geschichte selber durch! Das ist genau das, was dich betrifft! :)

Also eigentlich wärst du mit einem News-Aggregator rechtlich auf der sicheren Seite, vorausgesetzt du hast einen höheren sechsstelligen Geldbetrag unterm Sofa liegen, mit dem du das dann auch vor Gericht durchsetzen kannst.

Die Technischen Aspekte selbst sollten aber keinerlei Problem darstellen. Wie gesagt, jemand mit Erfahrung baut so ein Ding funktionstüchtig in weniger als einem Tag zusammen ... dann ist es zwar noch nicht perfekt, aber 2 Wochen später vielleicht sogar schon. :)

Trotzdem, als Übung eine gute Aufgabe, mit der man Vieles lernen kann. Viel Spaß damit! :)

Kommentar von TeeTier ,

PS:

Ich denke, selbst Google setzt für seinen News-Crawler nur eine Hand voll Maschinen ein. Und zwar weltweit für alle zusammen. Denn soooo viele Zeitungen gibt es auf der Welt nicht. Rechnen wir bei 300 Ländern mit jeweils 3000 Zeitungen, die alle 5 Minuten überprüft werden sollen, dann reicht ein einziger Low-Budget Bürorechner locker dafür aus. (Die Zahl ist utopisch hoch, und realistisch gesehen dürfte es viel viel weniger Zeitungen und Verlagshäuser geben.)

Die Webserver, die die News letzendlich in Form von einer Website
aufbereitet den Endnutzern anbieten, müssen natürlich deutlich dicker dimensioniert sein, zumal Google-News enorm viele Besucher hat, und ein kleiner Shared-Hoster binnen einer Sekunde unter der Last zusammen brechen würde.

Der eigentliche News-Crawler an sich, ist aber keine große Sache. :)

Kommentar von LABOON ,

Danke. Was meinst du wie würde es rechtlich aussehen wenn ich auf meinen ''Blog'' nur die Links und Überschriften anzeige? Keine Bilder und Textausschnitte.

Kommentar von TeeTier ,

Wie gesagt, ich bin kein Anwalt. Aber wenn man sich ansieht, wie z. B. allen voran der Springer Verlag die geltende Rechtsprechung auslegt, dann wäre ich vorsichtig.

Siehe dazu das "Leistungsschutzrecht" (danke an dieser Stelle an unsere Bundesregierung) oder die aktuelle Klage gegen AdBlock Plus ... das hat beides auch (entfernt) damit zu tun.

Sei auf jeden Fall vorsichtig, und setz dich nicht in die Nesseln! Vielleicht solltest du wirklich mal ein paar Euro in die Hand nehmen, und einen richtigen Anwalt konsultieren, wenn es dir ernst ist.

Das kostet zum Beispiel hier nicht allzu viel und geht auch online:

http://www.frag-einen-anwalt.de/

Eine Rechtssichere Beantwortung deiner Frage dürfte unter 50€ kosten ... vielleicht auch nur 20€ ... keine Ahnung. Viel Spaß! :)

Antwort
von Martinantwortet, 71

Ein paar hunderttausend € Budget würde ich schätzen, wenn das automatisiert in der Größenordnung erfolgen soll.

Kommentar von LABOON ,

Nur ein Themenbereich.

Antwort
von LABOON, 54

Soll aufjedenfall nur ein Themenbereich sein und nur auf Deutsch.

Keine passende Antwort gefunden?

Fragen Sie die Community