Google, Microsoft, OpenAI und Anthropic haben am 30. Oktober 2026 angekündigt, ab 2027 einen gemeinsamen Opt-out-Standard für KI-Training zu unterstützen. Publisher können künftig mit einer einzigen Zeile in ihrer robots.txt-Datei verhindern, dass alle vier Unternehmen ihre Inhalte zum Trainieren generativer KI-Modelle nutzen. Das neue Signal namens __usage_ai-training ersetzt die bisherige Praxis, für jeden Anbieter separate Crawler-Regeln pflegen zu müssen, ein erheblicher Fortschritt für Content-Ersteller, die ihre Rechte schützen wollen.
So funktioniert der neue Standard
Technische Umsetzung in zwei Zeilen
Der Opt-out basiert auf einem von Anthropics Kevin Kelley eingereichten Internet Draft für die AI Preferences Arbeitsgruppe der IETF. Die Implementierung ist denkbar einfach: Publisher fügen ihrer robots.txt-Datei folgende Zeilen hinzu:
- User-Agent: __usage_ai-training
- Disallow: /
Diese zwei Zeilen reichen aus, um alle vier Plattformen vom Training auszuschließen. Das Präfix mit doppeltem Unterstrich (__) signalisiert nach RFC 9309, dass es sich um ein Policy-Token handelt, nicht um einen konkreten Crawler-Namen. Publisher können mit Allow-Regeln gezielt Ausnahmen definieren, etwa für Pressematerial oder öffentliche Bereiche.
Zweckbasiert statt identitätsbasiert
Der entscheidende Unterschied zur bisherigen Praxis: Das neue Token definiert nicht, welcher Crawler blockiert wird, sondern wofür Inhalte nicht genutzt werden dürfen. Bisher mussten Webseitenbetreiber jeden Crawler einzeln benennen, GPTBot für OpenAI, Google-Extended für Google, ClaudeBot für Anthropic. Untersuchungen von 404 Media und Business Insider hatten 2024 dokumentiert, dass einige KI-Unternehmen ihre Crawler umbenannt hatten, nachdem diese auf Blocklisten landeten. Der neue Standard macht solche Umgehungsversuche deutlich schwieriger.
Praktische Anwendung für Content-Ersteller
Was sich für Publisher ändert
Die Vereinfachung ist erheblich: Statt vier separate Regeln zu pflegen und ständig nach neuen Crawler-Namen zu suchen, genügt eine einzige Implementierung. Das betrifft besonders Blogger, Nachrichtenportale und Medienunternehmen, die ihre Inhalte schützen wollen. Wichtig: Der Opt-out betrifft ausschließlich das Training generativer KI-Modelle. Suchmaschinen-Crawling, SEO-Rankings und die Indexierung für Suchergebnisse bleiben unberührt.
Unterschiedliche Implementierungen der Anbieter
Obwohl alle vier Unternehmen den Standard unterstützen, handhaben sie ihn unterschiedlich. Google behandelt den Opt-out wie eine Google-Extended-Blockierung und plant die Umsetzung für Anfang 2027. Microsoft führt zusätzlich eine separate AI Grounding-Präferenz ein, die nur auf Seitenebene funktioniert. Ab dem 1. Februar 2027 erkennt Microsoft die neuen Optionen an; die bisherigen NoArchive- und NoCache-Tags werden nach dem 1. März 2027 nicht mehr unterstützt. Anthropic hat laut Kevin Kelley bereits mit der Entwicklung begonnen, während OpenAI die Implementierung für die kommenden Monate angekündigt hat.
| Anbieter | Start-Termin | Besonderheiten |
|---|---|---|
| Anthropic | In Entwicklung | Initiator des Standards |
| Anfang 2027 | Behandlung wie Google-Extended | |
| Microsoft | 1. Februar 2027 | Zusätzliche Grounding-Präferenz |
| OpenAI | Kommende Monate | Keine Details bekannt |
Auswirkungen und offene Fragen
Grenzen des Standards
Der Draft ist als individueller Internet-Draft klassifiziert und stellt keine offizielle IETF-Standardisierung dar. Ein Wildcard-Eintrag (User-Agent: *) deckt das neue Token nicht ab, Publisher müssen die Regel explizit hinzufügen. Bestehende robots.txt-Dateien ohne __usage_ai-training-Gruppe signalisieren keine Präferenz, was laut Kelley auf alle derzeit veröffentlichten Dateien zutrifft. Das Token kontrolliert zudem nicht das Crawling selbst, sondern fungiert als Präferenzsignal für die Datennutzung.
Fehlende Akteure und Durchsetzung
Der Standard deckt nur vier Anbieter ab. Andere KI-Unternehmen wie Meta, Mistral, xAI oder chinesische Anbieter sind nicht Teil der Vereinbarung. Es gibt keine technische Durchsetzung, die Einhaltung basiert auf freiwilliger Selbstverpflichtung. Webseitenbetreiber können nicht überprüfen, ob ihre Inhalte tatsächlich vom Training ausgeschlossen werden. Die rechtliche Verbindlichkeit ist unklar, da robots.txt traditionell als Empfehlung gilt, nicht als rechtlich durchsetzbares Instrument. Für umfassenden Schutz müssen Publisher zusätzlich bestehende Crawler-Blockierungen beibehalten und ihre robots.txt-Dateien regelmäßig aktualisieren.
Quellen
- Google, Microsoft & OpenAI Plan To Honor Shared AI Training Opt-Out
- Two-Line robots.txt Entry Blocks All Four AI Giants From Training on Your Content
- AI Training Opt-Out: 4 Giants Agree on 1 Standard [2026]
- Google, Microsoft, OpenAI Agree on Robots.txt AI Training Opt-Out
- Google, OpenAI, Microsoft and Anthropic Agree on One AI Training Opt-Out – H2S Media
