Common Crawl
Auch: CCBot
Common Crawl ist eine gemeinnützige Organisation, die mit dem Crawler CCBot regelmäßig große Teile des Webs erfasst und die Daten frei zur Verfügung stellt.
Common Crawl ist eine gemeinnützige Organisation aus den USA, die eine Kopie großer Teile des Internets kostenlos für Forschung und Analyse bereitstellt. Der zugehörige Crawler heißt CCBot und beachtet laut Common Crawl die robots.txt. Die Datensätze gehören zu den bekanntesten Quellen für das Training großer Sprachmodelle.
User-agent: CCBot
Disallow: /Bedeutung für KI-Sichtbarkeit
Was in Common-Crawl-Daten enthalten ist, kann in das Trainingswissen von Sprachmodellen einfließen, also in das, was ein Modell ohne Websuche über Ihre Marke weiß, siehe Knowledge Cutoff. Eine Sperre von CCBot ist deshalb eine Abwägung zwischen Kontrolle über Ihre Inhalte und möglicher Präsenz im Modellwissen.
Häufige Fragen
Wirkt eine Sperre rückwirkend?
Nein. Bereits erfasste und veröffentlichte Daten bleiben in älteren Datensätzen enthalten.
Ist CCBot ein Crawler eines KI-Anbieters?
Nein. Common Crawl ist eine unabhängige gemeinnützige Organisation, deren Daten aber von vielen genutzt werden.