AI Crawler aussperren?

Inzwischen sind ein signifikanter Anteil allen Traffics auf verschiedenen Webprojekten nur noch AI Crawler, die bringen aber im Gegensatz zu Google 0 Besucher auf die Seiten und sind als Betreiber quasi nutzlos in den meisten Fällen.

Wie seht ihr das für:

• Blogs
• Shops
• Firmenwebseiten

Bei den letzten 2 kann ich mir noch einen gewissen Sinn vorstellen, aber im bereich der Contentcreation sind KI Bots eigentlich pures Gift. Sperrt ihr KI Bots? Gibt es listen für die robots.txt?

Answer 1

[gabriel3544]

Es gibt Versuche, solche Listen zu pflegen, z.B. https://github.com/ai-robots-txt/ai.robots.txt

Am Ende ist das alles natürlich nicht 100% wasserdicht. Was veröffentlicht wird, kann auch verarbeitet werden. Damit muss man leben.