Anthropic fordert koordinierte Pause bei Entwicklung besonders leistungsfähiger KI-Systeme

Warum eine Pause nur gemeinsam funktionieren kann

Eine Pause müsse laut Anthropic gemeinsam erfolgen: „Es müssten Regeln aufgestellt und befolgt werden, die für alle überprüfbar wären“. Führende KI-Unternehmen in verschiedenen Ländern – insbesondere den USA und China – müssten sich gleichzeitig zu einer Verlangsamung oder Pause bereit erklären, damit der Schritt wirksam sei. Einseitige Pausen lehnt Anthropic ab, weil sie lediglich verändern würden, wer vorne liege.

Wettbewerb, Investitionen und Bewertung

Der aktuelle Vorstoß erfolgt vor dem Hintergrund eines verschärften Wettbewerbs in der Branche. Unternehmen der KI-Industrie überbieten sich derzeit mit Plänen, hunderte Milliarden Dollar in KI-Infrastruktur wie riesige Rechenzentren zu investieren. Erst im vergangenen Monat schloss Anthropic eine Finanzierungsrunde mit einer Bewertung von 965 Milliarden Dollar ab, womit das Unternehmen nach eigenen Angaben höher bewertet ist als der Rivale OpenAI. Am Montag reichte Anthropic zudem vertraulich Unterlagen für einen Börsengang in den USA ein.

CEO Dario Amodei hatte bereits im Januar beim Weltwirtschaftsforum in Davos darauf hingewiesen, dass „der KI-Wettlauf mit China eine Verlangsamung der Entwicklung sehr stark erschwere, da es kaum eine durchsetzbare Vereinbarung geben könne“. Diese Skepsis gegenüber unilateralen Schritten zieht sich durch die Argumentation des Unternehmens. Anthropic verweist als historisches Beispiel auf den INF-Vertrag, dessen Umsetzung Jahrzehnte gedauert habe, und betont, dass eine wirksame Pause klar geregelte Fragen beantworten müsse: wann eine Verlangsamung greife, wer sie überwache und unter welchen Bedingungen sie aufgehoben werde.

Anthropic kündigte an, in den kommenden Monaten Gespräche mit politischen Entscheidungsträgern, Forschern, zivilgesellschaftlichen Gruppen und anderen KI-Unternehmen zu führen, um Risiken wie selbstoptimierende Systeme und eine bessere internationale Koordination zu adressieren. Das unternehmenseigene Institut soll an technischen Ansätzen arbeiten, die eine kontrollierte Verlangsamung ermöglichen. Dazu gehört auch ein geplantes Monitoring-System, das sicherstellen soll, dass alle Teilnehmer eine Pause einhalten und niemand heimlich einen Vorteil erlangt.

Streit mit dem Pentagon und geopolitischer Kontext

Der Vorstoß fällt in eine Phase erhöhter Aufmerksamkeit für das Unternehmen. Erst kürzlich hatte die Software Claude Mythos Preview für Aufsehen gesorgt, die in verschiedenen Programmen teils jahrzehntealte Sicherheitslücken aufspürte. Zugleich befindet sich Anthropic in einem Rechtsstreit mit dem US-Verteidigungsministerium, nachdem das Pentagon das Unternehmen nach dessen Weigerung, seine Modelle für bestimmte militärische Anwendungen freizugeben, als „Sicherheitsrisiko in der Lieferkette“ eingestuft hatte. Anthropic klagt gegen diese Klassifizierung und hatte zuvor erklärt, es wolle seine KI nicht für „Massenüberwachung im Inland“ oder in vollständig autonomen Waffensystemen eingesetzt sehen.

Das Weiße Haus unter Präsident Donald Trump hatte Anthropic vorgeworfen, dass schärfere Regulierung die US-Industrie im globalen Wettbewerb bremse. Die Europäische Union hofft unterdessen auf Testzugang zu Technologie von Anthropic, um potenzielle Risiken zu bewerten. Branchenbeobachter verweisen zudem darauf, dass Elon Musk bereits vor Jahren eine sechsmonatige Pause in der KI-Entwicklung gefordert hatte, um Risiken zu mindern – gleichzeitig trieb er die Gründung seines eigenen KI-Unternehmens voran.

Unterstützung erhält der Vorstoß aus der Forschung. Anthropics hauseigenes Institut arbeitet an technischen Mechanismen, die eine kontrollierte Verlangsamung überhaupt erst ermöglichen sollen. Auch aus der Zivilgesellschaft gibt es nach Unternehmensangaben Interesse an den angekündigten Gesprächen. In dem Blogbeitrag verweist Anthropic darauf, dass eine „koordinierte Anstrengung der weltweit führenden KI-Unternehmen notwendig sei, um eine unkontrollierte Entwicklung selbstverbesserungsfähiger KI zu verhindern“.

Die Resonanz aus der Branche und von Regierungen dürfte für den Erfolg des Vorschlags entscheidend sein. Anthropic selbst räumt ein, dass die vergangenen Aufrufe zu Pausen bisher wenig bewirkt haben, hält aber an der Forderung fest, „Regeln aufzustellen und zu befolgen, die für alle überprüfbar wären“. Der Blogbeitrag formuliert das Ziel als Notfallmechanismus: ein abgestimmtes Verfahren, um die Entwicklung besonders fortgeschrittener KI in einer Krise verlangsamen oder vorübergehend aussetzen zu können.

Forschung, Zivilgesellschaft und internationale Abstimmung

Parallel dazu wächst der wirtschaftliche Druck: Laut Anthropic wurde im Mai mehr als 80 Prozent des Codes im eigenen Codebestand von der eigenen KI Claude generiert. Dario Amodei und Anthropic hatten zuvor wiederholt gewarnt, die Menschheit sei möglicherweise nicht in der Lage, mit einer superintelligenten KI umzugehen. Die kommenden Gespräche mit Politik, Wissenschaft und Zivilgesellschaft sollen laut Unternehmen erste Antworten liefern, wie sich der Spagat zwischen Innovationsdynamik und Kontrolle organisieren lässt.

Ein zentraler Streitpunkt bleibt die Frage nach Durchsetzbarkeit. Anthropic verweist auf den INF-Vertrag, an dem sich zeige, dass globale Kontrollmechanismen möglich seien, aber Zeit brauchten. Das Unternehmen betont zugleich, dass es nicht um ein Verbot von KI gehe, sondern um die „Möglichkeit“ einer Pause – als koordiniertes Instrument, das aktiviert werden kann, sobald bestimmte technische Schwellen erreicht werden.

Ob aus dem Vorschlag politische Realität wird, hängt auch davon ab, ob sich China, die USA und andere führende KI-Standorte auf gemeinsame Standards einigen können. Anthropic selbst gibt sich zurückhaltend, was die Geschwindigkeit eines solchen Prozesses angeht – und verweist darauf, dass schon die Verhandlungen über den INF-Vertrag Jahrzehnte gedauert haben.

Ausblick: Vom Prinzip zur Umsetzung

Fest steht: Mit dem Blogbeitrag verschiebt Anthropic die Debatte über KI-Sicherheit von einer rein technischen auf eine institutionelle Ebene. Die Forderung nach einer „koordinierten Anstrengung der weltweit führenden KI-Unternehmen“ zielt darauf ab, einseitige Alleingänge zu verhindern und einen Rahmen zu schaffen, in dem eine Pause nicht als Wettbewerbsnachteil, sondern als gemeinsame Verantwortung erscheint.

Amodei hatte in der Vergangenheit mehrfach vor einer Superintelligenz gewarnt und die Frage aufgeworfen, ob die Menschheit eine solche KI beherrschen könne. Der Blogbeitrag greift diese Sorge auf und übersetzt sie in ein konkretes politisches Instrument: einen Mechanismus, der es der Welt erlauben soll, „die Entwicklung hochmoderner KI-Systeme zu verlangsamen oder vorübergehend auszusetzen“.