Forderungen
Unser Vorschlag
Eine vorübergehende Pause beim Training der leistungsstärksten allgemeinen KI-Systeme einführen, bis wir wissen, wie wir sie sicher bauen und unter demokratischer Kontrolle halten können. Viele Wissenschaftler und Führungskräfte aus der Industrie sind sich einig, dass eine Pause notwendig ist, und auch die US-amerikanische Öffentlichkeit unterstützt eine Pause deutlich (69 %). In Deutschland sprechen sich zudem 83 % der Bevölkerung für eine Regulierung von KI aus.
Wir erwarten nicht, dass Länder oder Unternehmen ihren Wettbewerbsvorteil aufs Spiel setzen, indem sie KI-Trainingsläufe über einen langen Zeitraum pausieren, wenn andere Länder oder Unternehmen dies nicht ebenfalls tun. Deshalb brauchen wir eine globale Pause.
Die Einführung einer Pause kann sich als kontraproduktiv erweisen, wenn sie nicht richtig umgesetzt wird, aber wir glauben, dass unser Vorschlag die schwerwiegendsten Nachteile abmildern würde. Im Folgenden legen wir dar, was nötig ist, um dorthin zu gelangen.
Stand: 5. April 2026. Übersetzt vom PauseAI Proposal.
Der Weg zu einem Vertrag
Ein internationales Abkommen wird typischerweise über einen Gipfel etabliert, bei dem sich die Staats- und Regierungschefs treffen, um das Thema zu erörtern und eine Entscheidung zu treffen. Bisher hatten wir vier KI-Gipfel.
Das primäre Endziel dieser Gipfel sollte ein Vertrag sein. Bislang waren die Gipfel nicht dazu geeignet, etwas rechtlich Verbindliches hervorzubringen. Die Ausarbeitung von Verträgen ist tendenziell langsam und anfällig für Vetos, aber wir haben möglicherweise nicht die Zeit für einen langwierigen Vertragsbildungsprozess.
Wesentliche Voraussetzungen für einen erfolgreichen Pause-Vertragsprozess:
- Die Beteiligung sowohl der USA als auch Chinas.
- Tempo. Normale Vertragsprozesse dauern Jahre, und wir könnten schon sehr bald übermenschliche KI bauen.
- Die wichtigsten Akteure (insbesondere die USA und China) müssen die Schwere des Risikos verstehen.
Der Vertrag selbst sollte die folgenden Maßnahmen enthalten.
Vertragsmaßnahmen
Aufbau einer internationalen KI-Sicherheitsbehörde (AISA)
Nach dem Vorbild der Internationalen Atomenergie-Organisation (IAEO) wird diese Behörde verantwortlich sein für:
- Die Erteilung von Genehmigungen für größere Bereitstellungen (Deployments) und Trainingsläufe von KIs, die als keine Bedrohung für die Menschheit eingestuft werden. Dies umfasst Red-Teaming und Modellevaluierungen.
- Die Erteilung von Genehmigungen für die Entwicklung leistungsfähigerer KI, sobald ausreichende Fortschritte bei den technischen Problemen von KI-Sicherheit und KI-Kontrolle erzielt wurden.
- Die Festlegung von Anforderungen für die Überwachung von KI-Trainingsläufen.
- Die Überprüfung, dass die Entscheidungen der Behörde eingehalten werden. Dies kann auf zahlreiche Weisen geschehen: GPU-Tracking, Anreize für Whistleblower, Energieüberwachung, Inspektionen von Rechenzentren, Finanzaufklärung, Inspektionen von Halbleiterfertigungsanlagen, Inspektionen von KI-Entwicklern, Standortverfolgung von Chips und chipbasierte Berichterstattung. Für weitere Details dazu, wie die stark zentralisierte KI-Chip-Lieferkette für eine globale Überwachung der KI-Entwicklung genutzt werden kann, siehe Building the Pause Button.
Eine solche Behörde müsste Experten zusammenbringen, um fundierte und vorsichtige Beurteilungen treffen zu können. Es könnte erhebliche Meinungsverschiedenheiten zwischen Experten geben, und die Behörde müsste eine Reihe unterschiedlicher Sichtweisen zusammenführen und ein angemessenes Maß an Vorsicht festlegen.
Unterzeichnerstaaten haben zusätzliche Vetorechte über die Bereitstellung sicherer übermenschlicher KI
- Eine ausreichend große Koalition gegnerischer Länder kann jede Bereitstellung eines sicheren übermenschlichen KI-Systems mit einem Veto blockieren. Dies schließt Einwände gegen Details einer Bereitstellung ein, etwa die einem System gegebenen Anweisungen oder die ihm eingepflanzten Werte.
- Bis eine Bereitstellung vereinbart ist, müssen die Gewichte und der Zugang zur KI streng unter der Obhut der AISA gehalten werden. Die Behörde darf die KI nutzen, um den Vertrag gegen kriegerische Nationen durchzusetzen, jedoch für keinen anderen Zweck.
Wenn wir kontrollierbare, sichere KI bauen können, müssen wir sicherstellen, dass die Vorteile der gesamten Menschheit zugutekommen. Kein einzelnes Unternehmen und kein einzelnes Land sollte den gesamten von KI erzeugten Überschuss abschöpfen dürfen. Wenn KI beispiellosen Wohlstand schafft, sollte niemand in Armut zurückgelassen werden.
Wenn eine Gruppe von Ländern befürchtet, von den Vorteilen der KI ausgeschlossen zu werden, sollte sie eine starke Verhandlungsposition erhalten, mit der sie ihren gerechten Anteil einfordern kann. Ebenso sollte eine Gruppe demokratischer Länder, die glaubt, dass ein autoritäres Land KI einsetzen wird, um das eigene Volk zu unterdrücken, auf eine Bereitstellung drängen können, die alle Bürgerinnen und Bürger in jedem Land stärkt.
Auswirkungen eines Vertrags
Die gefährlichsten Modelle werden allgemeine KI-Modelle sein, die Sprache verstehen und ein breites Spektrum an Aufgaben in vielen verschiedenen Bereichen erledigen können. Die allgemeinsten Modelle, die es heute gibt, sind große Sprachmodelle wie ChatGPT und agentische Systeme wie Claude Code, die darauf aufbauen. Dieser Vertrag würde jedoch in der Regel keine Auswirkungen auf spezialisierte (narrow) KI-Systeme haben, etwa Bilderkennungssysteme, die zur Krebsdiagnose eingesetzt werden.
Es ist möglich, dass das Problem der KI-Ausrichtung (Alignment) sehr schwierig ist und lange Zeit ungelöst bleibt. In diesem Fall würde der Vertrag die Entwicklung übermenschlicher KI für lange Zeit verhindern. Das ist der einzige Weg, die Sicherheit der Menschheit zu gewährleisten.
Die Durchsetzung des Vertrags erfordert, dass die USA und China ihn mit ihrer wirtschaftlichen und militärischen Macht stützen. Wenn die Führungen beider Nationen die Schwere der Risiken von KI verstehen, werden sie erkennen, dass der Erfolg des Vertrags in ihrem eigenen Interesse liegt. Falls eine sichere übermenschliche KI entwickelt wird, wird die KI selbst von der AISA zur Durchsetzung des Vertrags eingesetzt.
Weitere Maßnahmen, die KI wirksam verlangsamen
- Verbot des Trainings von KI-Systemen mit urheberrechtlich geschütztem Material. Dies hilft bei Urheberrechtsfragen, bremst die wachsende Ungleichheit und verlangsamt den Fortschritt hin zu übermenschlicher KI.
- Haftung der KI-Modell-Ersteller für Straftaten, die mithilfe ihrer KI-Systeme begangen werden. Das gibt den Modell-Erstellern mehr Anreize, sicherzustellen, dass ihre Modelle sicher sind.
Langfristige Politik
Zum Zeitpunkt der Erstellung dieses Textes kostet das Training eines Modells auf GPT-5-Niveau viele Millionen Dollar. Das macht es sehr schwierig, solche Modelle zu trainieren, und erleichtert die Durchsetzung von Trainingskontrollen mittels GPU-Tracking. Die Kosten für das Training eines Modells sinken jedoch exponentiell aufgrund von Hardware-Verbesserungen und neuen Trainingsalgorithmen.
Es könnte ein Punkt kommen, an dem potenziell übermenschliche KI-Modelle für ein paar Tausend Dollar oder weniger trainiert werden können, vielleicht sogar auf Consumer-Hardware. Wir müssen darauf vorbereitet sein und sollten die folgenden zusätzlichen Schutzmaßnahmen in Betracht ziehen:
- Begrenzung der Veröffentlichung von Trainingsalgorithmen / Laufzeit-Verbesserungen. Manchmal wird ein neuer Algorithmus veröffentlicht, der das Training deutlich effizienter macht. Die Transformer-Architektur zum Beispiel ermöglichte praktisch alle jüngsten Fortschritte in der KI. Solche Fähigkeitssprünge können jederzeit auftreten, und wir sollten in Erwägung ziehen, die Veröffentlichung derartiger Algorithmen zu begrenzen, um das Risiko eines plötzlichen Fähigkeitssprungs zu minimieren. Es gibt auch Innovationen, die dezentrale Trainingsläufe ermöglichen. Ebenso könnten manche Laufzeit-Innovationen drastisch verändern, was mit bestehenden Modellen möglich ist. Die Begrenzung der Veröffentlichung gefährlicher Forschung wurde in anderen Bereichen bereits recht wirksam umgesetzt, etwa in der Biosicherheit, wo Methoden zur Erregerverstärkung streng kontrolliert werden.
- Begrenzung der Leistungssteigerung von Rechenressourcen. Wir sollten in Erwägung ziehen, die Leistungssteigerungen von Hardware zu begrenzen (z. B. durch Einschränkungen bei Lithografie, Chipdesign und neuartigen Rechenparadigmen wie photonischen Chips und Quantencomputing).
Hilf uns, das zu erreichen
Schließ dich der Bewegung an, um mitzuarbeiten, oder werde selbst aktiv. Dafür brauchen wir dich.