Implementieren einer Crawling Suchmaschine in der Website?

...komplette Frage anzeigen

3 Antworten

Vom Frontend mal völlig abgesehen ...

Du kannst dir sicher sein, dass dein Crawler bei mehr als ein paar zich Requests pro Tag geblockt werden wird.

Für so etwas gibt es die offiziellen APIs. Alles andere kann man schon unter Computersabotage bezeichnen.

Denkst du ernsthaft, eBay & Co gucken zu, während du ihre Datenbanken belastest, das Ergebnis umformatierst und auf deiner Website veröffentlichst?

Abgesehen davon, dass sich hin und wieder das Layout ändert, und deine Website dann einen Fehler anzeigen wird.

Ein Crawler, der evtl. sogar die robots.txt beachtet, und nur ab und zu mal vorbeikommt und auf Pausen zwischen den Requests achtet (z. B. der Googlebot), ist etwas völlig anderes, als Dauerbeschuss durch Schmarotzer, Hotlinker und Leecher! (Ganz ehrlich, du könntest dir dadurch eine Anzeige wegen DoS einfangen.)

Fazit: Nimm die offizielle API und mach einen SOAP Request, oder lass es sein! Diese Unternehmen sind kein Selbstbedienungsladen und die müssen auch für ihre Infrastruktur bezahlen. Extra für Leute wie dich gibt es ja die APIs, also nutze sie! :)

Viel Spaß! :)

Antwort bewerten Vielen Dank für Deine Bewertung
idifongo99 23.09.2016, 02:57

Erstmal danke für den konstruktiven Teil deiner Antwort. Der hilft mir schon etwas weiter :)

Zu den "bösen" Bemerkungen: Es geht nicht um "Selbstbedienungsladen", wie du es hier nennst, sonder mehr darum, eine ganze übersicht aus mehreren Websites auf eine andere zu übertragen. Also quasi eine Verlinkung zu den Originalwebsites, halt einfach alle auf einer externen Site zusammengefasst. 

Ich frage, da mir die nötigen Fachbegriffe fehlen, um ein gescheites Ergebnis mit Google etc. zu finden. 

Hast mir aber schon sehr weiter geholfen. Danke dir dafür! Ach ja, eins noch vornweg, Das mit Ebay war halt einfach ein Beispiel. Eigentlich geht es mir um andere Dinge als Ebay-Artikel. Ich fand dieses Beispiel einfach grad am passendsten. 

1
TeeTier 23.09.2016, 10:52
@idifongo99

Solange du darauf achtest, keine fremden Server zu "vergewaltigen", ist alles in Ordnung, denke ich! Natürlich musst du noch auf solche Dinge wie Copyright und Urheberrecht achten, falls das denn relevant sein sollte.

Ansonsten viel Spaß! Falls du nicht weiter weißt, google einfach mal nach "php http request" oder so. Viel Erfolg! :)

1

Also Design und Content ist ja erstmal getrennt als könntest du dir die Google Suche auch etwas anpassen. Aber wenn dir das Ergebnis schon nicht gefällt bringt das ja auch nix.

Erstes Problem woher soll deine Suche denn wissen in welchen Kategorien sie suchen soll? das ist nicht so leicht machbar.

Was geht ist das du mit einer Suche auf deiner Seite eine Anfrage an verschiedene Seite schickst und dann die Ergebnisse parsen, trimmen usw.

Ist schon einwenig Aufwand da ja die Suchanfragen und Ergebnisse von mehreren Seiten auch verschieden aussehen aber möglich ist das durchaus.

Lies dich mal ein wenig in PHP rein.

Antwort bewerten Vielen Dank für Deine Bewertung
anobi86 22.09.2016, 05:07

Zu dem Problem Sparte automatisch suchen könntest du zB. erst Überall Suchen lassen und dann bei den Ergebnissen die Kategorie nehmen wo die meisten Ergebnisse gefunden worden. Aber will man das denn immer so haben?

0
idifongo99 22.09.2016, 05:21
@anobi86

Erstmal Danke für deine schnelle und ausführliche Antwort.

Ich werde sicher noch ein wenig mit Google weiter probieren und schauen, was machbar ist. Für die Suche in der Sparte habe ich einfach die subdomain anstelle der hauptdomain eingegeben. Das hat eigentlich auch geklappt, das problem war nur, dass beim Testen dann viele, also wirklich zu viele, Ergebnisse aussenvor gelassen wurden was mir nicht erklärlich war.

Ich nehme mal an, dass Portale wie indeed.com  eine eigene Suchmaschine programmiert haben. Gibt es eventuell andere öffentlich zugängliche Maschinen wie die spez. Suchmaschine von Google?

0

Wenn es nur von eBay sein soll ist das Problem ja leicht gelöst, dass du dir das Suchergebnis von eBay "klaust" und dann für deine Seite umformatierst.

Antwort bewerten Vielen Dank für Deine Bewertung
anobi86 22.09.2016, 19:40

So funktioniert das mehr oder weniger auch auf allen anderen Seiten. In der Praxis ist es dann nicht mehr so "leicht" gelöst. Schon um eine Suchanfrage auf eine andere Seite zu schicken braucht man ein wenig Erfahrung mit Php. 

1

Was möchtest Du wissen?