Cloudflare angekündigte Pläne am Montag, um im nächsten Jahr einen Marktplatz zu starten, auf dem Websitebesitzer Anbietern von KI-Modellen Zugriff auf das Scraping der Inhalte ihrer Website verkaufen können. Der Marktplatz ist der letzte Schritt des größeren Plans von Cloudflare-CEO Matthew Prince, Publishern mehr Kontrolle darüber zu geben, wie und wann KI-Bots ihre Websites scrapen.
„Wenn man die Urheber nicht auf die eine oder andere Weise entschädigt, hören sie auf, kreativ zu sein, und das ist der Teil, der gelöst werden muss“, sagte Prince in einem Interview mit TechCrunch.
Um dieses Ziel zu erreichen, hat Cloudflare am Montag kostenlose Beobachtungstools für Kunden namens AI Audit eingeführt. Websitebesitzer erhalten ein Dashboard, auf dem sie Analysen darüber anzeigen können, warum, wann und wie oft KI-Modelle ihre Websites nach Informationen durchsuchen. Cloudflare ermöglicht es Kunden außerdem, KI-Bots mit einem Mausklick von ihren Websites zu blockieren. Websitebesitzer können mit AI Audit alle Web Scraper blockieren oder bestimmte Web Scraper durchlassen, wenn sie Angebote haben oder ihr Scraping für nützlich halten.
Eine mit TechCrunch geteilte Demo von AI Audit zeigte, wie Websitebesitzer das Tool verwenden können, um zu sehen, wie KI-Modelle ihre Websites scrapen. Das Tool von Cloudflare kann sehen, woher jeder Scraper kommt, der Ihre Website besucht, und bietet selektive Fenster, um zu sehen, wie oft Scraper von OpenAI, Meta, Amazon und anderen KI-Modellanbietern Ihre Website besuchen.
Cloudflare versucht, ein Problem anzugehen, das die KI-Branche überschattet: Wie werden kleinere Verlage im KI-Zeitalter überleben, wenn die Leute ChatGPT statt ihrer Website besuchen? Heute durchsuchen Anbieter von KI-Modellen Tausende kleiner Websites nach Informationen, die ihre LLMs antreiben. Während einige größere Verlage Verträge mit OpenAI zur Lizenzierung von Inhalten abgeschlossen haben, erhalten die meisten Websites nichts, aber ihre Inhalte werden trotzdem täglich in beliebte KI-Modelle eingespeist. Das könnte die Geschäftsmodelle vieler Websites zerstören und den Verkehr reduzieren, den sie dringend benötigen.
Anfang des Sommers wurde das KI-gestützte Such-Startup Perplexity beschuldigt, Websites zu scrapen, die absichtlich angaben, dass sie nicht gecrawlt werden wollten, und zwar mithilfe des Robots Exclusion Protocol. Kurz darauf veröffentlichte Cloudflare einen Button, mit dem Kunden alle KI-Bots mit einem Klick blockieren konnten.
„Das geschah aus der Frustration, die wir hörten, weil die Leute das Gefühl hatten, ihre Inhalte würden gestohlen“, sagte Prince.
Einige Websitebesitzer sagten Business Insider, dass KI-Bots ihre Websites so stark durchsuchten, es fühlte sich wie ein DDoS-Angriff an hat ihre Server lahmgelegt. Wenn Ihre Website gescraped wird, kann das nicht nur ärgerlich sein, sondern auch Ihre Cloud-Rechnung in die Höhe treiben und Ihren Service beeinträchtigen.
Aber was wäre, wenn Sie die Bots von Perplexity, aber nicht die von OpenAI blockieren wollten? Prince erzählt TechCrunch, dass Cloudflare-Kunden nach Tools fragen, mit denen sie auswählen können, welche KI-Modelle Zugriff auf ihre Websites haben. Mit den neuen Tools von Cloudflare, die heute eingeführt werden, können Kunden einige KI-Crawler blockieren und andere durchlassen.
Selbst große Verlage, die Lizenzverträge mit OpenAI abgeschlossen haben – wie etwa TIME, Condé Nast und The Atlantic – haben laut Prince relativ wenig Einblick darin, wie viel ChatGPT ihre Websites durchsucht. Viele von ihnen müssen akzeptieren, was OpenAI ihnen sagt, aber die Antwort bestimmt, ob die Verlage einen guten Lizenzvertrag abschließen oder nicht.
Doch der Marktplatz von Cloudflare, der irgendwann im nächsten Jahr starten soll, soll es auch kleinen Verlagen ermöglichen, Geschäfte mit Anbietern von KI-Modellen abzuschließen.
„Wir geben Ihnen allen die Möglichkeit, das zu tun, was bisher nur Reddit, Quora und die großen Verlage der Welt getan haben“, sagte Prince. „Was wäre, wenn wir Sie effektiv einen Preis für den Zugriff und die Aufnahme Ihrer Inhalte in diese Systeme festlegen lassen würden?“
Obwohl es eine mutige Idee ist, gibt Cloudflare noch keine vollständig ausgearbeitete Vorstellung davon, wie sein Marktplatz aussehen wird. Prince sagt, Websites könnten Anbietern von KI-Modellen Gebühren auf Grundlage der Preise berechnen, zu denen sie einzelne Websites scrapen, aber es ist unklar, wie viel sie tatsächlich zahlen werden. Darüber hinaus sagt er, Websites könnten einen Geldpreis für das Scraping verlangen oder KI-Labore einfach um Kredit bitten. Die Details sind schwammig.
Während KI-Unternehmen zunächst vielleicht nicht begeistert davon sind, für Inhalte zu zahlen, die sie derzeit kostenlos erhalten, glaubt der CEO von Cloudflare, dass dies letztlich gut für das KI-Ökosystem sei. Prince sagt, dass die derzeitige Situation, in der einige KI-Unternehmen nie für Inhalte zahlen, nicht nachhaltig ist.
