AI Crawler aussperren?
Inzwischen sind ein signifikanter Anteil allen Traffics auf verschiedenen Webprojekten nur noch AI Crawler, die bringen aber im Gegensatz zu Google 0 Besucher auf die Seiten und sind als Betreiber quasi nutzlos in den meisten Fällen.
Wie seht ihr das für:
- Blogs
- Shops
- Firmenwebseiten
Bei den letzten 2 kann ich mir noch einen gewissen Sinn vorstellen, aber im bereich der Contentcreation sind KI Bots eigentlich pures Gift. Sperrt ihr KI Bots? Gibt es listen für die robots.txt?
2 Antworten
Es gibt Versuche, solche Listen zu pflegen, z.B. https://github.com/ai-robots-txt/ai.robots.txt
Am Ende ist das alles natürlich nicht 100% wasserdicht. Was veröffentlicht wird, kann auch verarbeitet werden. Damit muss man leben.
Eigentlich sollte die DGVO alleine schon reichen um alle Anwender von AI Crawler verklagen zu können die an der Webseite vorbeikommen und Daten abrufen. Schließlich ist es ohne die explizite Erlaubnis des Daten-Eigentümers nicht erlaubt Daten maschinell zu verarbeiten.
Das betrifft per se auch veröffentliche Webseiten, denn AI verarbeitet die Daten maschinell und nicht auf die Weise wie der Webseitenbetreiber die Daten veröffentlichen wollte.
Aber solange keine Klaghewelle auf die KI Betrreiber zurollen, werden sie es nicht lernen. Die DSGVO kann richtig teuer werden. Wir sprechen da bis zu Millionenbeträge für größere Datenverstöße.
Die Webseite mit Metatags oder txt Dateien zu sichern vor sowas ist halt auch nur solange fuinktionabel wie sich die Crawler an die WWW Standards halten.
Wenn ich ein großer Webseitenbetreiber wäre würde ich solche Crawler tracken, und die dann über einen Anwahlt abmahnen. Die Leute müssen lernen, dass das in der EU ohne explizite Erlaubnis nicht (mehr) gestattet ist.
Schließlich ist es ohne die explizite Erlaubnis des Daten-Eigentümers nicht erlaubt Daten maschinell zu verarbeiten.
Wiso sollte es verboten sein? Evt. wenn eine Datenbank abgescraped wird, ansonsten sind es aber öffentliche Daten. Das dürfte kaum Aussicht auf Erfolg haben.