Anthropic fordert globale Bremse für KI-Entwicklung und warnt vor selbstverbessernden Systemen

Auslöser der Initiative ist nach Angaben des Unternehmens der rasante Fortschritt aktueller KI-Modelle, insbesondere bei Fähigkeiten zur Selbstverbesserung und Weiterentwicklung. Anthropic warnt, der Meilenstein einer KI, die sich selbst trainiert und intelligenter wird, könne schneller erreicht werden, als viele Institutionen darauf vorbereitet seien. In internen Daten des Unternehmens zeige sich, dass ein KI-System entstehen könnte, das sich weitgehend ohne menschliche Hilfe selbst weiterentwickelt – ein Szenario, das Anthropic als „rekursive Selbstoptimierung“ beschreibt. Dieses Szenario sei zwar nicht unausweichlich, die Risiken aber erheblich.

Selbstverbesserung als Auslöser

Anthropic betont zugleich, dass ein einseitiger Verzicht des eigenen Unternehmens wenig bewirken würde. Eine unilaterale Pause sei leicht möglich, würde aber lediglich anderen Akteuren Zeit geben, technologisch aufzuholen. Für eine wirksame Bremse müssten die führenden KI-Labore in den USA, China und anderen Ländern gleichzeitig ihre Arbeit verlangsamen oder unterbrechen – und verbindliche, für alle überprüfbare Regeln akzeptieren.

Als historisches Beispiel verweist Anthropic auf den INF-Vertrag zur nuklearen Abrüstung zwischen den USA und Russland aus dem Jahr 1987, der zeige, dass Regulierung komplexer Technologien grundsätzlich möglich sei – auch wenn der Vertrag 2019 von beiden Seiten gekündigt wurde und seine Erarbeitung Jahrzehnte dauerte. Anthropic-CEO Dario Amodei hatte bereits Anfang des Jahres beim Weltwirtschaftsforum in Davos erklärt, der KI-Wettlauf mit China mache eine Verlangsamung der Entwicklung schwierig, weil eine verbindliche Vereinbarung kaum durchsetzbar sei.

Geplante Gespräche und Kontrollmechanismen

Konkret plant Anthropic, in den kommenden Monaten Gesprächsrunden mit Vertretern aus Politik, Forschung, Zivilgesellschaft und anderen KI-Unternehmen zu organisieren. Ziel sei ein internationaler Koordinationsmechanismus, der eine glaubwürdige Verlangsamung zwischen Staaten und Firmen sicherstelle. Zudem will das hauseigene Forschungsinstitut mit anderen Akteuren an einem Überwachungssystem arbeiten, das Entwicklern die Gewissheit geben soll, dass alle Teilnehmer einer Pause folgen und niemand heimlich einen Vorteil erlangt. Auch die Erforschung technischer Sicherungssysteme für eine globale KI-Bremse soll vorangetrieben werden.

In dem Blogbeitrag formulieren Clark und Favaro zudem interne Beobachtungen zur Leistungsfähigkeit von Claude. Im Februar 2025 habe der Anteil des von Claude geschriebenen Codes am firmeneigenen Codebestand noch im niedrigen einstelligen Prozentbereich gelegen, im Mai dann bei über 80 Prozent. Pro Quartal lieferten Anthropic-Entwickler dank KI inzwischen im Schnitt achtmal so viel Code aus wie im Zeitraum von 2021 bis 2025. Die Häufigkeit, mit der Mitarbeiter Claudes Ausgaben korrigieren oder manuell eingreifen müssten, sei stetig gesunken – auch bei offenen Aufgaben ohne klare Vorgaben.

Claudes wachsende Rolle im eigenen Code

Viele Anthropic-Mitarbeiter seien zudem der Meinung, dass der von Claude geschriebene Code Ende 2025 qualitativ noch schlechter gewesen sei als der von Menschen verfasste, inzwischen aber auf gleicher Höhe. Clark und Favaro erwarten, „dass er im Laufe des Jahres besser sein wird“. Sobald die Qualität von KI- und menschlich geschriebenem Code gleichauf sei, würden Menschen gar keinen Code mehr schreiben, sondern sich ausschließlich auf dessen Überprüfung konzentrieren. Allerdings räumen die Autoren ein, dass KI ohne menschliches Urteilsvermögen und ohne menschliche Entscheidungen ein fähiger Helfer bleibe und unklar sei, ob aktuelle Trainingsmethoden und Architekturen menschliches Potenzial erreichen könnten.

Anthropic tritt in der Branche häufig als mahnende Stimme auf und hat sich wiederholt für eine strengere Regulierung der KI-Industrie ausgesprochen. Das Weiße Haus unter Präsident Donald Trump hat dem Unternehmen vorgeworfen, mit seiner Regulierungshaltung die US-Industrie im globalen Wettbewerb zu bremsen. Anthropic hatte zudem dem Pentagon die Freigabe seiner Modelle für bestimmte militärische Anwendungsfälle verweigert – das Unternehmen will nicht, dass seine KI für Massenüberwachung im Inland oder in vollautonomen Waffensystemen eingesetzt wird. Die US-Regierung stufte Anthropic daraufhin als „Sicherheitsrisiko in der Lieferkette“ ein, wogegen das Unternehmen gerichtlich vorgeht.

Politischer Gegenwind und Streit mit dem Pentagon

Der Vorstoß erinnert an eine frühere Initiative aus dem März 2023, als ein offener Brief eine Zwangspause bei der Entwicklung der mächtigsten KI-Modelle forderte und vor gravierenden Konsequenzen der Technologie für die Menschheit warnte. Über 1000 Personen aus Forschung und Wirtschaft hatten unterzeichnet, darunter auch Elon Musk und Steve Wozniak. Musk hatte sich gemeinsam mit dem Future of Life Institute, das er mitfinanziert, für ein sechsmonatiges Moratorium starkgemacht. Später wurde bekannt, dass Musk gleichzeitig den Aufbau seiner eigenen KI-Firma vorantrieb. Das Future of Life Institute setzt sich für die Regulierung gefährlicher technologischer Entwicklungen ein, wird von Kritikern aber als blind für bereits bestehende Gefahren gesehen.

In der Branche selbst ist derzeit keine Bereitschaft zu einer Entwicklungspause erkennbar. Große KI-Konzerne überbieten sich mit Investitionsplänen in Höhe von Hunderten Milliarden Dollar in Infrastruktur wie riesige Rechenzentren. Diese Anlagen verbrauchen erhebliche Mengen an Strom und Wasser für Betrieb und Kühlung. Eine Umfrage zu Jahresbeginn zeigte, dass eine Mehrheit der US-Bürger den Bau eines Rechenzentrums in ihrer Gemeinde ablehnt. Der US-Bundesstaat New York verabschiedete ein Gesetz, das einen einjährigen Baustopp für neue Rechenzentren vorsieht; nach Ablauf der Frist soll für jeden neuen Antrag eine öffentliche Versammlung stattfinden, bevor eine Genehmigung erteilt werden kann. Das Gesetz muss noch von der demokratischen Gouverneurin Kathy Hochul unterzeichnet werden.

Wirtschaftliche Rahmenbedingungen und Börsenpläne

Anthropic hatte zuletzt mit der Software Claude Mythos Preview für Aufsehen gesorgt, die in verschiedenen Programmen Sicherheitslücken aufspürte – teils solche, die jahrzehntelang unentdeckt geblieben waren. Bei der Vorstellung hatte das Unternehmen den Zugriff zunächst auf einen kleinen Kreis von US-Unternehmen und Behörden beschränkt, weil Mythos „einfach zu gut darin“ sei, Schwachstellen zu finden, um allgemein verfügbar gemacht zu werden. Inzwischen dürfen auch Institutionen aus Europa darauf zugreifen. Ende Juni will Anthropic einen Bericht über die entdeckten Lücken vorlegen.

Unternehmensfinanziell ist Anthropic derzeit in einer starken Position: Nach der letzten Finanzierungsrunde wird das Unternehmen mit 965 Milliarden Dollar bewertet und liegt damit vor seinem Rivalen OpenAI. Am Montag vor Veröffentlichung des Blogbeitrags hat Anthropic zudem bei der US-Finanzaufsicht SEC vertraulich den Börsengang beantragt – und wäre damit OpenAI im Rennen um das Listing einen Schritt voraus. OpenAI-CEO Sam Altman hatte zuletzt seine frühere Prognose revidiert, KI werde breitflächig Menschen ersetzen und zu Massenentlassungen führen; er habe die Auswirkungen auf den Arbeitsmarkt überschätzt.

Die Debatte über eine globale KI-Bremse dürfte damit in den kommenden Monaten an Fahrt aufnehmen – auch wenn unklar ist, ob sich die großen Labore tatsächlich auf verbindliche Regeln einigen werden. Anthropic selbst hält fest: Wenn verifizierbare Sicherungssysteme existierten, „würden wir voraussichtlich verlangsamen oder vorübergehend pausieren“ – allerdings nur, wenn andere Entwickler auf gleichem technologischen Niveau dies nachweislich ebenfalls täten.

Die Nachricht wurde am 05.06.2026 im Programm des Deutschlandfunks ausgestrahlt.