Wie errichte ich eine News Aggregator Website wie z.B. Google News ein. Was brauch ich alles?

...komplette Frage anzeigen

3 Antworten

Nur ein Themenbereich? Nur auf Deutsch? Vermutlich (zumindest am Anfang) kaum Besucher?

Dafür dürfte ein billiger Shared-Hoster für 1€ pro Monat inkl. Domain reichen. Den Billig-Crawler dafür kannst du auch in PHP hinfrickeln und per Cron-Job anstoßen.

Arbeitsaufwand: Weniger als einen Tag, für jemanden mit genügend Erfahrung. Vielleicht 2 bis 3 Tage, wenn das Design auch schön "responsive" sein soll, und vielleicht ne ganze Woche für eine richtig schicke Seite.

Selbst wenn du ALLE Nachrichtenseiten Deutschlands mit einem Intervall von 5 Minuten abgrasen willst, dauert das insgesamt nur 2 bis 3 Sekunden, aber das ist dann aus technischen Gründen mit reinem PHP nicht mehr möglich, und du musst auf "etwas Richtiges" umsatteln.

Allerdings musst (bzw. solltest!) du den Crawler nicht auf dem selben Server wie das Web-Frontend laufen lassen, weshalb du erst mal bei deinem billigen 1€-PHP-Shared-Hoster bleiben kannst, und den eigentlichen News-Crawler zur Not auch bei dir zu Hause laufen lassen kannst, und dem Webserver, der deine Site hostet, alle paar Minuten ein paar Nachrichten pushen kannst.

Alles in allem sehr sehr einfach, aaaaaaber der Grund, dass die Welt nicht von News-Aggregatoren überschwemmt wird, dürfte a) die Marktmacht von Google sein, gegen die du kleiner Futzi sowieso nicht anstinken kannst, und b) die rechtlichen Probleme, die eigentlich gar keine Probleme sind, aber von den Verlags-Advokaten gerne mal als "Intelläctual Propärty" ausgelegt werden.

In den 90ern hat der Hacker Felix von Leitner (alias fefe) mal genau so einen Dienst aufgemacht (der hieß damals Paperboy) und wurde von den Verlagen in Grund und Boden verklagt. Am Ende hat fefe zwar gewonnen, aber ... auch lies dir die Geschichte selber durch! Das ist genau das, was dich betrifft! :)

Also eigentlich wärst du mit einem News-Aggregator rechtlich auf der sicheren Seite, vorausgesetzt du hast einen höheren sechsstelligen Geldbetrag unterm Sofa liegen, mit dem du das dann auch vor Gericht durchsetzen kannst.

Die Technischen Aspekte selbst sollten aber keinerlei Problem darstellen. Wie gesagt, jemand mit Erfahrung baut so ein Ding funktionstüchtig in weniger als einem Tag zusammen ... dann ist es zwar noch nicht perfekt, aber 2 Wochen später vielleicht sogar schon. :)

Trotzdem, als Übung eine gute Aufgabe, mit der man Vieles lernen kann. Viel Spaß damit! :)

Antwort bewerten Vielen Dank für Deine Bewertung
Kommentar von TeeTier
12.02.2016, 17:54

PS:

Ich denke, selbst Google setzt für seinen News-Crawler nur eine Hand voll Maschinen ein. Und zwar weltweit für alle zusammen. Denn soooo viele Zeitungen gibt es auf der Welt nicht. Rechnen wir bei 300 Ländern mit jeweils 3000 Zeitungen, die alle 5 Minuten überprüft werden sollen, dann reicht ein einziger Low-Budget Bürorechner locker dafür aus. (Die Zahl ist utopisch hoch, und realistisch gesehen dürfte es viel viel weniger Zeitungen und Verlagshäuser geben.)

Die Webserver, die die News letzendlich in Form von einer Website
aufbereitet den Endnutzern anbieten, müssen natürlich deutlich dicker dimensioniert sein, zumal Google-News enorm viele Besucher hat, und ein kleiner Shared-Hoster binnen einer Sekunde unter der Last zusammen brechen würde.

Der eigentliche News-Crawler an sich, ist aber keine große Sache. :)

1

Ein paar hunderttausend € Budget würde ich schätzen, wenn das automatisiert in der Größenordnung erfolgen soll.

Antwort bewerten Vielen Dank für Deine Bewertung
Kommentar von LABOON
12.02.2016, 14:23

Nur ein Themenbereich.

0

Soll aufjedenfall nur ein Themenbereich sein und nur auf Deutsch.

Antwort bewerten Vielen Dank für Deine Bewertung

Was möchtest Du wissen?