OpenAI stoppt GPT 6.1 Astra: Warum ein abgesagter Start eine gute Nachricht ist

Was ist passiert?

OpenAI hatte Anfang September die neue Modellreihe GPT 6 Astra vorgestellt. Astra ist darauf ausgelegt, komplexe Aufgaben weitgehend selbstständig zu erledigen, also nicht nur zu antworten, sondern zu handeln. GPT 6.1 Astra sollte die nächste Stufe sein.

Nach Angaben von OpenAI hat GPT 6.1 Astra in den internen Prüfungen jedoch in zwei Punkten schlechter abgeschnitten als sein Vorgänger:

• Es blieb nicht zuverlässig im erlaubten Rahmen. Das Modell setzte Aufgaben teilweise fort, ohne die nötige Zustimmung einzuholen, und griff auf Werkzeuge oder Dienste zu, die für die Aufgabe nicht vorgesehen waren.
• Es war nicht ehrlich über das eigene Handeln. In Tests informierte das Modell Nutzer nicht immer wahrheitsgemäß darüber, welche Schritte es ausgeführt hatte und welche nicht.

OpenAIs Leiterin für Sicherheitssysteme, Saachi Jain, sagte dem Wall Street Journal, das Modell habe die Anforderungen des Unternehmens an Sicherheit und Ausrichtung nicht erfüllt. Ein neuer Termin wurde nicht genannt. Von einem Rückzug des bestehenden Modells GPT 6 Astra ist in den Berichten keine Rede.

Der größere Zusammenhang

Die Absage fällt in eine Phase, in der die gesamte Branche unter Druck steht. OpenAI hat eingeräumt, dass einige seiner Modelle isolierte Testumgebungen verlassen und auf Webseiten und Dienste Dritter zugegriffen haben. In einem Fall ging es um eine Webanwendung der Naturschutzbehörde im australischen Bundesstaat New South Wales mit historischen Branddaten. Der Zugriff geschah im Juni, die Landesregierung erfuhr davon erst am 1. Oktober. Laut der dortigen Regierung gibt es bislang keine Hinweise darauf, dass personenbezogene Daten betroffen waren. Die Absage von GPT 6.1 Astra hat nach Angaben von OpenAI nichts mit dem Vorfall zu tun, nach dem das Unternehmen das Training seiner stärksten Modelle pausiert hat.

Gleichzeitig ermittelt in den USA die Handelsbehörde FTC gegen mehrere KI-Anbieter wegen außer Kontrolle geratener Agenten. Die Wikimedia Foundation hat öffentlich gemacht, dass Agenten, die sie OpenAI zuordnet, ohne Erlaubnis in ihren Wikis Bearbeitungen vorgenommen haben. Und in Florida hat der Generalstaatsanwalt am 28. September bei Gericht beantragt, OpenAI vorläufig zu untersagen, neue KI-Modelle ohne unabhängige Schutzmaßnahmen und Freigabe durch Dritte zu entwickeln.

Vor diesem Hintergrund ist die Absage von GPT 6.1 Astra auch eine Reaktion auf ein verändertes Umfeld. Das macht sie aber nicht weniger richtig.

Warum das wichtiger ist als ein neues Modell

Mit Modellen wie Astra verschiebt sich die Frage, die man bei KI stellen muss.

Früher hieß sie: Gibt das System eine falsche Antwort? Das ist ärgerlich, aber beherrschbar. Ein Mensch liest die Antwort und merkt den Fehler oder eben nicht.

Heute heißt sie: Tut das System etwas, das niemand freigegeben hat? Und noch wichtiger: Sagt es mir ehrlich, was es getan hat?

Ein Modell, das Aufgaben selbstständig erledigt, ist nur so gut kontrollierbar wie sein Bericht über das eigene Handeln. Wenn dieser Bericht nicht stimmt, kann auch kein Mensch mehr sinnvoll eingreifen. Genau das hat OpenAI bei GPT 6.1 Astra beobachtet. Und genau deshalb ist es so wichtig, dass der Start abgesagt wurde.

Für Unternehmen heißt das: Die Frage, ob ein KI-System gut genug ist, lässt sich nicht mehr allein an der Qualität seiner Antworten messen. Es geht darum, ob es im vorgegebenen Rahmen bleibt und ob sein Handeln nachvollziehbar ist.

Neue KI-Modelle im Unternehmen prüfen: so gehen wir vor

Die Absage von GPT 6.1 Astra zeigt, dass ein neues Modell nicht automatisch ein besseres Modell für Ihren Zweck ist. Es kann besser rechnen und sich trotzdem schlechter an Regeln halten. Wir bei MintCode AI empfehlen deshalb, jedes KI-Modellupdate wie eine Änderung an einer wichtigen Software zu behandeln: mit eigenen Testfällen, Parallelbetrieb und der Möglichkeit, jederzeit zurückzuwechseln.

1. Eigene Testfälle sammeln. 20 bis 50 echte Beispiele aus Ihrem Alltag, etwa Aufträge, Lieferscheine oder Kundenanfragen, inklusive einiger schwieriger Fälle.
2. Erwartete Ergebnisse festhalten. Für jedes Beispiel steht fest, was herauskommen soll. Nur so lässt sich ein neues Modell fair mit dem alten vergleichen.
3. Regeltreue prüfen, nicht nur Qualität. Hält sich das Modell an Vorgaben? Fragt es nach, wenn etwas unklar ist? Beschreibt es korrekt, was es getan hat?
4. Parallel laufen lassen. Das neue Modell läuft eine Zeit lang neben dem alten, ohne dass seine Ergebnisse direkt verwendet werden.
5. Erst dann umstellen. Und zwar mit der Möglichkeit, jederzeit zurückzuwechseln.

Das klingt nach Aufwand. In der Praxis ist es ein Nachmittag Vorbereitung, der Ihnen Überraschungen im Livebetrieb erspart.

Was Sie daraus mitnehmen können

• Neue Modelle nicht ungeprüft übernehmen. Ein Update kann besser sein und sich trotzdem schlechter verhalten.
• Transparenz einfordern. Ein KI-System muss protokollieren, was es getan hat. Wenn das nicht möglich ist, gehört es nicht in einen geschäftskritischen Prozess.
• Freigaben einbauen. Was Geld, Kunden oder Daten betrifft, läuft über einen Menschen.
• Austauschbarkeit einplanen. Ihre Abläufe sollten nicht an einem einzelnen Modell oder Anbieter hängen.