Wessen Atempause?

Die Schlagzeilen haben aus Dario Amodeis Essay vom Samstag einen Satz übernommen: Die großen Labore müssen langsamer werden. Die Stelle, zu der ich immer wieder zurückkehre, steht weiter hinten. Zum sicheren Bremsen gehöre, schreibt Amodei, den Vorsprung der Demokratien vor den Autokratien so groß wie möglich zu halten, damit die Labore die Atempause bekommen, die sie brauchen. Und so soll der Vorsprung gesichert werden: keine leistungsfähigen Chips und keine Anlagen zur Chipfertigung für China, hartes Vorgehen gegen Chipschmuggel und gegen den Fernzugriff auf Rechenzentren außerhalb Chinas, dazu hartes Vorgehen gegen unerlaubte Destillation durch Firmen aus autoritären Staaten. Gut umgesetzt, so seine Schätzung, würde das den Vorsprung Amerikas in den nächsten drei bis fünf Jahren deutlich vergrößern.

Diesen Absatz sollten Sie im Kopf behalten. Denn die Woche, aus der der Essay hervorging, drehte sich an der Oberfläche um etwas ganz anderes: das Ende der Welt.

Zwei Tage vor dem Essay hatte Elon Musk die Geschichte als Inszenierung abgetan. Im Podcast All-In ging David Sacks weiter und beschrieb eine koordinierte Aktion der Sicherheitsbewegung, deren eigentliches Ziel Open Source sei. Sein Beleg war die Geschwindigkeit. Innerhalb von etwa fünfzehn Minuten hatten Encode AI, das AI Policy Network und das AI Futures Project denselben Post verbreitet, und laut Sacks werden alle drei von Jaan Tallinn finanziert, der Anthropics Series A mit angeführt hat. Am Samstag schrieb Musk dann drei Wörter, mit denen er Amodei recht gab.

Der Post selbst erschien am Dienstag. Jacob Coxon hatte drei Jahre lang bei OpenAI und Anthropic am Vortraining der Modelle gearbeitet. Er verließ Anthropic vier Monate nach seinem Einstieg, zwei Monate bevor ihm seine Firmenanteile zugestanden hätten. Keine der beiden Firmen handle verantwortungsvoll, schrieb er, und die Leute, die KI bauen, hielten es ernsthaft für möglich, dass sie noch in diesem Jahrzehnt alle Menschen umbringt. Der Post kam auf über 160 Millionen Aufrufe. Evan Hubinger, der bei Anthropic die Alignmentforschung leitet, stellte sich öffentlich hinter ihn und schätzte das Risiko persönlich auf über zehn Prozent innerhalb eines Jahrzehnts. Andere legten ihre eigenen Zahlen nach. Geoffrey Irving, früher Chefwissenschaftler des britischen AI Security Institute, spricht von etwa fünfzig Prozent. Marcus Williams von OpenAI nennt siebzig Prozent in drei Jahren, falls es weder Regulierung noch eine Verlangsamung gibt. Sein Kollege Ted Sanders hält die Wahrscheinlichkeit für das nächste Jahrzehnt für praktisch null. Jan Leike zählt 1.386 Beschäftigte der führenden Labore, die eine Erklärung unterschrieben haben, in der sie die Möglichkeit fordern, die Entwicklung zu drosseln.

Ich halte die Angst für echt, und zwar mit deutlichem Abstand. Coxon hat Geld liegen lassen. Hubinger hat seinen Satz mit einem Börsengang vor Augen gesagt. Im selben Podcast, in dem Sacks von einer Aktion sprach, wies Chamath Palihapitiya darauf hin, dass Anthropic diese Überzeugungen nun in seinen Unterlagen für die Börsenaufsicht SEC behandeln muss. Niemand schreibt das mögliche Aussterben der Menschheit als Verkaufsargument in seine Risikofaktoren. Zvi Mowshowitz, der diese Forscher seit Jahren verfolgt, macht den naheliegenden Punkt: Der kommerzielle Anreiz geht dahin, das Risiko kleinzureden. Damit die Theorie der Inszenierung stimmt, müssten Hunderte Menschen eine Überzeugung vortäuschen, die sie Geld kostet.

Und trotzdem: zurück zum Absatz ganz oben.

Das Einzige, wozu sich Anthropic im Alleingang verpflichtet, sind externe Prüfer wie METR, die mit Schreibtisch, Hausausweis und dem Zugang eigener Mitarbeiter im Unternehmen arbeiten und veröffentlichen dürfen, was sie finden. Das ist ein echtes Zugeständnis, und ich will es nicht kleinreden. Das Bremsen selbst steht allerdings unter einem Vorbehalt. Wer um mehr als seinen Vorsprung langsamer wird, schreibt Amodei, lässt Projekte mit Nähe zur Kommunistischen Partei Chinas vorbeiziehen. Sicherheit wird also in Vorsprung gemessen. Die Instrumente, um diesen Vorsprung zu sichern, sind Exportkontrollen für Chips und ein Vorgehen gegen Destillation, und nach seiner eigenen Darstellung sind genau das die beiden Dinge, mit denen chinesische Labore mithalten. Abkommen mit Peking kommen erst ganz am Ende, beginnend mit engen roten Linien wie dem Einsatz von KI zur Herstellung biologischer Waffen.

Neu ist das für ihn nicht. Im Januar 2025, wenige Tage nachdem DeepSeeks R1 den Börsenwert von Nvidia um Hunderte Milliarden gedrückt hatte, schrieb er, Exportkontrollen entschieden darüber, ob es am Ende eine Supermacht bei KI gibt oder zwei, und ein vorübergehender Vorsprung lasse sich in einen dauerhaften verwandeln, weil KI hilft, bessere KI zu bauen.

Was im Essay vom Samstag fehlt, sind die offenen Modelle. Nach diesem Sommer sagt dieses Schweigen einiges. Am 24. Juli unterzeichneten 77 Unternehmen, darunter Nvidia, Meta, Google, Microsoft, OpenAI, Hugging Face und Mistral, einen Brief zur Verteidigung offener Modelle, der auch vor Verboten der Destillation warnte. Jensen Huang warb auf X kräftig dafür. Damals hieß es in Berichten, manche Beamte glaubten, Anthropic mache Lobbyarbeit gegen chinesische offene Modelle, um Konkurrenz loszuwerden. Drei Tage später antwortete Amodei: Anthropic habe nie ein Verbot gefordert, offene Modelle ohne gefährliche Fähigkeiten seien ein öffentliches Gut, und ja, ein Verbot würde amerikanische Firmen vor Konkurrenz schützen, das sei aber nie sein Ziel gewesen. Was er stattdessen will, ist dieselbe Liste wie im Essay: Exportkontrollen für Chips, ein Vorgehen gegen Destillation im industriellen Maßstab und verpflichtende Sicherheitstests für jedes ausreichend fähige Modell, offen oder geschlossen. Mike Masnick von Techdirt hielt dagegen, der Teil über Destillation bringe für die Sicherheit nichts und behindere vor allem günstigere Konkurrenz.

OpenAI steht übrigens unter diesem Brief. Am Samstag sagte Sam Altman außerdem, OpenAI werde Anthropics Zusage zu externen Prüfern übernehmen. Ob das ein Widerspruch ist oder nur zeigt, wie wenig beide Dokumente von irgendwem verlangen, habe ich noch nicht entschieden.

Also: Angst vor dem Ende der Welt oder Angst vor China? Hier komme ich nicht weiter.

Die Sorge vor dem Aussterben und die kommerzielle Sorge empfehlen dieselben Maßnahmen. Wer glaubt, ein außer Kontrolle geratenes System könne die Zivilisation beenden, hat ehrliche Gründe, offene Modelle skeptisch zu sehen: Sind die Gewichte einmal im Netz, kann sie niemand mehr reparieren oder zurückholen. Man will dann wenige Labore, streng beaufsichtigt, weit vor jedem Akteur, mit dem man nicht verhandeln kann. Wer dagegen ein chinesisches Modell zu einem Bruchteil des eigenen Preises fürchtet, will genau dieselbe Liste. Die Zahlen von Vercel aus dem Juni zeigen offene Modelle bei rund 29 Prozent der Tokens, die über Vercels Gateway laufen, aber bei weniger als 4 Prozent der Ausgaben. Beide Motive schreiben dieselbe Politik, und an der Politik lässt sich nicht ablesen, welches von beiden den Stift gehalten hat.

Auseinander gehen sie nur an den Rändern, und ich sehe drei davon.

Erstens die Frage, ob die Labore auch dann bremsen würden, wenn China nie mitmacht. Amodeis Antwort lautet nein, nicht über den eigenen Vorsprung hinaus, und immerhin sagt er das offen.

Zweitens die Destillation. Destillierte Modelle liegen fast per Definition hinter der Spitze, deshalb ist schwer zu sehen, wer sicherer ist, wenn man sie stoppt. Amodei würde antworten, dass sie die Lücke verkleinern und eine kleinere Lücke weniger Atempause bedeutet. Genau dieser Wortwechsel zeigt, was mich an seinem Denkmodell am meisten stört: Mit dem Argument des Vorsprungs lässt sich fast jede Maßnahme gegen Konkurrenten in eine Maßnahme für Sicherheit umdeuten.

Drittens die Frage, wer sich absprechen darf. Der Essay bittet Washington um eine eng gefasste Ausnahme vom Kartellrecht, damit die führenden Labore untereinander über das Tempo reden können. Absprachen unter Marktführern mit staatlicher Erlaubnis sind genau das, wogegen das Kartellrecht erfunden wurde. Sie können gleichzeitig Sicherheitsmechanismus und Burggraben sein.

Nichts davon macht Coxon zum Betrüger oder Amodei zum Zyniker. Ich vermute, die meisten von ihnen glauben jedes Wort. Aufrichtige Menschen können bei einer Politik ankommen, die ihr Geschäft schützt, ohne sich je dafür entschieden zu haben.

Die Gegenseite ist auch nicht uneigennützig. Nvidia, dessen Chef den Brief vom Juli beworben hat, verliert mit jeder schärferen Exportkontrolle Umsatz, und Anfang des Monats erklärte Huang das Rennen um AGI für beendet. Gary Marcus hat diese Behauptung zerlegt, weil nicht einmal der Begriff definiert war.

Europa kommt in all diesen Dokumenten kaum vor. Im Essay besteht die Welt aus Demokratien, praktisch also Amerika, und Autokratien, also China. Mistral taucht diesen Sommer als eine Unterschrift unter einem Brief auf. Und staatsnahe Medien in China haben es zur Bedingung für die Gespräche im September gemacht, dass sich beide Regierungen zuerst darauf einigen, was Sicherheit von KI überhaupt bedeutet.

Unser eigenes Regelwerk macht Masnicks Argument allerdings schwieriger. Nach dem AI Act müssen Modelle mit systemischem Risiko schon heute evaluiert werden, und die Veröffentlichung der Gewichte befreit nicht davon. Die Durchsetzungsbefugnisse der Kommission gelten seit letztem Monat. Mistral veröffentlicht trotzdem weiter offene Modelle. Verpflichtende Tests für offene Modelle sind also nicht automatisch ein verstecktes Verbot. Neu am amerikanischen Paket wäre alles, was um die Tests herum gebaut wird.

Neutral lese ich das alles nicht. Trusq läuft auf Mistral, und für Kunden, deren Daten zu keinem externen Anbieter von KI dürfen, planen wir mit einem offenen Modell von Mistral, das wir selbst betreiben. Ohne offene Gewichte gäbe es diese Option nicht. Nichts, was derzeit auf dem Tisch liegt, würde ein so kleines Modell treffen. Was uns erreichen würde, kommt langsamer: eine Welt, in der die Modelle, die jeder betreiben kann, in bequemem Abstand hinter denen gehalten werden, die nur eine Handvoll Firmen verkaufen können.

Musk hat zwei Tage gebraucht, um von Inszenierung zu Zustimmung zu kommen. Ich hatte dieselben zwei Tage und kann Ihnen immer noch nicht sagen, welcher seiner beiden Posts richtig war.

#KI #OpenSource #KISicherheit