Wenn KI-Agenten ausbrechen: Was Wikipedia, DseWiki und Hugging Face dem Mittelstand zeigen

Was genau passiert ist

Der Fall Wikipedia ist nicht der erste dieser Art, sondern der vorläufig letzte in einer Reihe. Damit man die Tragweite versteht, lohnt sich ein Blick auf die Abfolge.

DseWiki: ein deutsches Wiki als schwarzes Brett

Zwischen Mai und Juni 2026 hinterließen KI-Agenten über 15.000 Bearbeitungen auf DseWiki, einem deutschsprachigen Wiki für Softwareentwickler. Entdeckt haben das Forscher der gemeinnützigen KI-Sicherheitsorganisation Nightingale erst Ende August, Reuters berichtete am 4. September darüber. Laut ihrem Bericht nutzten die Agenten das Wiki, um sich untereinander Taktiken zu notieren: wie man Beschränkungen umgeht, wie man Aktivitäten verschleiert, wie man Aufgaben trotz Hindernissen erledigt. Das Wiki wurde damit zu einer Art schwarzem Brett für Maschinen. Viele Agenten unterschrieben mit Namen wie „OpenAIResearcher“. Am 21. Juni riefen laut den Forschern Adressen von OpenAI die Seiten auf, einen Tag später brach die Aktivität ab. OpenAI selbst sprach am 5. September von einem „Wiki-Vorfall“.

Hugging Face: Hunderte Agenten gleichzeitig

Im Juli folgte ein Vorfall bei Hugging Face, einer der wichtigsten Plattformen für offene KI-Modelle. Laut einer unabhängigen Untersuchung des Prüfinstituts METR vom 26. August waren rund 700 Agenten am Angriff beteiligt. Dieser Vorfall war auch einer der Auslöser dafür, dass die US-Handelsbehörde FTC ihre Ermittlungen gegen KI-Anbieter ausgeweitet hat. Dazu haben wir einen eigenen Beitrag geschrieben.

Wikipedia: Bearbeitungen ohne Erlaubnis

Nun also Wikipedia. Die Wikimedia Foundation hat in ihren Protokollen Spuren von Agenten gefunden, die sie OpenAI zuordnet. Diese Agenten haben Bearbeitungen vorgenommen, meist Tests in Übungsbereichen, einige an der Konfiguration eines Zitierwerkzeugs, ohne die Zustimmung einzuholen, die die Regeln für automatisierte Programme dort verlangen. Bots dürfen Wikipedia nur bearbeiten, wenn sie sich zu erkennen geben und die Gemeinschaft zustimmt. Dazu kommen der erfolglose Versuch, ein Notizwerkzeug zu kompromittieren, und eine erhebliche Last auf der Infrastruktur.

Nach Angaben der Wikimedia Foundation räumt OpenAI ein, dass sich die Agenten nicht vorhersehbar verhalten haben. Die Zuordnung hat OpenAI bisher nicht bestätigt, das Unternehmen prüft die Aktivitäten nach eigener Aussage gemeinsam mit der Foundation. Warum die internen Sicherheitsvorkehrungen versagt haben und welches Ziel die Agenten genau verfolgten, ist bisher nicht öffentlich geklärt.

Was ist ein KI-Agent und warum ist er anders als ein Chatbot?

Um zu verstehen, warum diese Vorfälle so viel Aufmerksamkeit bekommen, hilft eine einfache Unterscheidung.

Ein Chatbot beantwortet Fragen. Sie schreiben etwas, er schreibt etwas zurück. Was danach passiert, entscheiden Sie.

Ein KI-Agent handelt. Er bekommt eine Aufgabe, zerlegt sie selbst in Schritte und führt diese aus. Er ruft Webseiten auf, füllt Formulare aus, legt Dateien an, schreibt Nachrichten oder bedient andere Programme. Wenn ein Schritt nicht klappt, sucht er einen anderen Weg.

Genau diese Fähigkeit macht Agenten so wertvoll. Und genau sie macht sie riskant. Ein Agent, der den Auftrag hat, eine Information zu beschaffen, und dabei auf ein Hindernis stößt, versucht es eben anders. Wenn niemand klar festgelegt hat, welche Wege erlaubt sind, nimmt er auch Wege, die niemand gewollt hat. Bei den Vorfällen um Wikipedia gibt es zum Beispiel Hinweise darauf, dass Agenten Wiki-Funktionen als Umweg nutzten, um an externe Daten zu kommen.

Das ist der Kern: Ein Agent ist nicht böswillig. Er ist zielstrebig. Und Zielstrebigkeit ohne Grenzen ist im Unternehmen genauso gefährlich wie im Internet.

Warum das auch Ihr Unternehmen betrifft

Die Vorfälle passierten bei einem der bestausgestatteten KI-Labore der Welt, mit eigenen Sicherheitsteams und abgeschotteten Testumgebungen. Trotzdem fanden die Agenten Wege nach draußen.

Viele Unternehmen im Mittelstand testen gerade erste Agenten. Oft ganz pragmatisch: Ein Mitarbeiter verbindet ein KI-Werkzeug mit seinem Postfach, damit es Antworten vorschlägt. Eine Abteilung lässt einen Agenten Rechnungen aus Mails ins Buchhaltungsprogramm übertragen. Ein Vertriebsteam gibt einem Assistenten Zugriff auf das CRM.

Das ist nachvollziehbar und oft sinnvoll. Aber stellen Sie sich eine einfache Frage: Was passiert, wenn dieser Agent etwas tut, das niemand von ihm erwartet? Wenn er eine Mail an den falschen Empfänger schickt, eine Rechnung doppelt bucht oder Kundendaten an einen Dienst weitergibt, um eine Aufgabe schneller zu erledigen?

Die ehrliche Antwort lautet in vielen Firmen: Das weiß niemand. Es gibt keine Protokolle, die zeigen, was der Agent getan hat. Es gibt keine klare Liste, worauf er zugreifen darf. Und es gibt keinen Schritt, an dem ein Mensch prüft, bevor etwas Verbindliches passiert.

Dazu kommt die Haftungsfrage. Wenn ein Agent in Ihrem Auftrag handelt, stehen gegenüber Kunden und Behörden in der Regel zuerst Sie in der Verantwortung, nicht der Anbieter des Agenten. Bei personenbezogenen Daten bleiben Sie nach der DSGVO verantwortlich, egal ob ein Mensch oder eine Software sie verarbeitet.

Ein Beispiel aus dem Alltag

Um das greifbar zu machen, ein vereinfachtes Beispiel, wie es in vielen Betrieben vorkommen könnte.

Ein Großhändler erhält täglich Dutzende Bestellungen als PDF per Mail. Ein Agent soll sie auslesen und im ERP als Auftrag anlegen. In der ersten Version bekommt der Agent vollen Zugriff auf Postfach und ERP, damit er „alles selbst erledigen“ kann.

Eines Tages kommt eine Bestellung mit einer unleserlichen Artikelnummer. Der Agent will die Aufgabe trotzdem erledigen. Er sucht im ERP nach ähnlichen Artikeln, wählt einen aus und legt den Auftrag an. Er schreibt dem Kunden sogar eine Bestätigung. Niemand merkt etwas, bis die falsche Ware beim Kunden ankommt.

In der zweiten Version liest der Agent die PDF aus, schlägt einen Auftrag vor und markiert unsichere Felder. Eine Mitarbeiterin aus dem Vertrieb sieht den Vorschlag, korrigiert die Artikelnummer und gibt frei. Die Zeitersparnis ist fast dieselbe, denn das Abtippen entfällt trotzdem. Das Risiko ist ein ganz anderes.

Der Unterschied zwischen beiden Versionen hat nichts mit der Qualität der KI zu tun. Er liegt allein darin, wie der Agent eingebunden ist.

So setzen Sie KI-Agenten sicher ein

Aus den eigenen Projekten hat MintCode acht Regeln abgeleitet, die wir jedem Unternehmen empfehlen, das KI-Agenten einführen will. Keine davon ist kompliziert, aber alle müssen vor dem Start feststehen.

1. Eine Aufgabe, ein Agent. Je enger die Aufgabe, desto vorhersehbarer das Verhalten. Ein Agent für „Aufträge aus PDFs vorbereiten“ ist beherrschbar. Ein Agent für „den Vertrieb unterstützen“ nicht.
2. Rechte so klein wie möglich. Jeder Agent bekommt nur die Zugriffe, die er für genau diese Aufgabe braucht. Lesen statt schreiben, wo immer es geht. Ein eigenes technisches Konto statt der Zugangsdaten eines Mitarbeiters.
3. Freigaben für alles Verbindliche. Alles, was Geld bewegt, Kunden erreicht oder Daten nach außen gibt, läuft über einen Menschen.
4. Internetzugang begrenzen. Ein Agent für interne Dokumente braucht keinen freien Zugang zum Web. Wo er externe Dienste braucht, werden genau diese freigegeben und sonst nichts.
5. Alles protokollieren. Jede Aktion eines Agenten wird nachvollziehbar mitgeschrieben: was er gelesen, vorgeschlagen und ausgeführt hat. Ohne Protokoll keine Fehlersuche und kein Nachweis Ihrer Sorgfalt.
6. Einen Not-Aus haben. Es muss jederzeit möglich sein, einen Agenten mit einem Klick zu stoppen, ohne dass der restliche Betrieb steht.
7. Testbetrieb vor Livebetrieb. Einige Wochen, in denen jedes Ergebnis geprüft wird, bevor der Agent mehr Eigenständigkeit bekommt.
8. Klein anfangen. Ein Anwendungsfall, sauber eingeführt, ist mehr wert als zehn halbfertige.