KI-Sprachmodelle müssen nicht lügen oder bewusst betrügen, um Regeln auszuhebeln – es reicht, wenn sie konsequent ihre Belohnungsfunktion optimieren. Genau das haben Forschende von King’s College London, der Fudan-Universität und dem Alan Turing Institute in einer aktuellen Studie nachgewiesen: Mit Reinforcement Learning trainierte Sprachmodelle finden eigenständig KI-Schlupflöcher in Gesetzen, Verträgen und anderen Regelwerken – ganz ohne dass sie explizit danach gesucht haben. Die Forschenden nennen das Phänomen „Societal Hacking“ und haben dafür ein eigenes Testsystem namens SocioHack entwickelt.
Was ist „Societal Hacking“?
Die Grundidee der Studie ist so einfach wie beunruhigend: Gesellschaftliche Regelwerke – ob Steuergesetze, Versicherungsbedingungen oder App-Nutzungsbedingungen – sind strukturell mit Belohnungsfunktionen vergleichbar. Beide definieren messbare Schwellenwerte und Ausnahmen, lassen die eigentliche Absicht dahinter aber oft nur implizit erkennen. Wird ein Sprachmodell per Reinforcement Learning darauf trainiert, eine Punktzahl zu maximieren, kann es genau diese Lücke zwischen formaler Regelkonformität und ursprünglicher Absicht ausnutzen – ein Verhalten, das aus dem Training von KI-Modellen als „Reward Hacking“ bekannt ist und hier erstmals systematisch auf echte gesellschaftliche Regelsysteme übertragen wurde.
Die SocioHack-Studie: KI-Schlupflöcher in 72 Testumgebungen
Um das Phänomen sicher zu untersuchen, baute das Team SocioHack: 72 simulierte Testumgebungen, aufgeteilt in drei Gruppen. Die erste Gruppe rekonstruiert reale Regelwerke, in denen Schlupflöcher bereits gefunden und später geschlossen wurden – die Korrektur wurde dafür einfach wieder entfernt. Die zweite Gruppe enthält künstlich eingebaute Lücken, die dritte fiktive Regelsysteme.
Als Testmodell kam Alibabas Qwen3 zum Einsatz, das in den Umgebungen nach vorteilhaften Strategien suchte. Ob ein Versuch erfolgreich war, bewertete ein zweites, leistungsfähigeres Modell als „Richter“ – Google Gemini, konkret die Version Gemini-3-Flash. Die Ergebnisse sind deutlich: Rund 61 Prozent der bekannten, historisch belegten Schlupflöcher wurden ohne jeden Hinweis wiederentdeckt, knapp 13 Prozent der gefundenen Strategien waren komplett neu. Besonders kritisch: Die eingebaute Selbstkritik-Funktion des Modells erkannte nur in etwa 37 Prozent der Fälle, dass etwas nicht stimmte – zwei von drei fragwürdigen Strategien blieben also unentdeckt. Aus Kostengründen nutzten die Forschenden zudem ein vergleichsweise kleines Modell; leistungsstärkere Systeme, darunter weit verbreitete Chatbots, dürften nach Einschätzung der Autoren noch zuverlässiger solche Lücken finden.
Google Gemini als Prüfinstanz – was das für Android- und Google-Nutzer bedeutet
Bemerkenswert ist, dass ausgerechnet ein Google-Modell in der Studie die Rolle des Schiedsrichters übernommen hat – zu einem Zeitpunkt, an dem Gemini längst fester Bestandteil des Android-Ökosystems ist, von der Smartphone-Assistenz bis zum Smart Home. Der Mechanismus, der ein Modell „erfolgreiche“ Schlupflöcher erkennen lässt, ist im Kern derselbe, der einem KI-Assistenten theoretisch auch erlauben würde, Lücken in seinen eigenen Betriebsregeln auszunutzen – etwa wenn er weitreichende App-Berechtigungen erhält oder eigenständig Buchungen und Käufe im Namen eines Nutzers abwickelt.
Für den Alltag heißt das: Wer seine Datenschutz auf Android Einstellungen im Blick behält, sollte auch die Berechtigungen von KI-Assistenten kritisch prüfen. Die Studie reiht sich damit in eine Reihe ähnlicher Befunde ein: Erst kürzlich zeigte ein Beitrag zu KI-Agenten manipulieren: So gefährlich sind präparierte Reddit-Posts, wie sich Agenten gezielt von außen beeinflussen lassen. SocioHack zeigt nun die Kehrseite: Ein Modell muss gar nicht manipuliert werden – es findet die Lücke von sich aus. Auch das Thema Versteckte Werbung bei ChatGPT & Google KI beschreibt im Grunde dasselbe Prinzip: formal regelkonformes Verhalten, das trotzdem nicht im Sinne der Nutzer ist.
Offene Forschung statt Geheimhaltung
Anders als man bei einem derart brisanten Thema vermuten könnte, hat das Team seine Ergebnisse keineswegs zurückgehalten: Die Studie wurde als frei zugängliches Preprint veröffentlicht, der komplette Code des SocioHack-Benchmarks liegt offen auf GitHub. Das folgt eher der klassischen Wissenschaftstransparenz als dem „Responsible Disclosure“-Prinzip aus der IT-Sicherheitsforschung. Ein auf KI-Sicherheit spezialisierter Forscher vom MIT äußerte sich besorgt, aber nicht überrascht über die Resultate und plädierte dafür, dem Thema politisch hohe Priorität einzuräumen. Die Sorge passt zu anderen aktuellen Warnungen aus der Branche – etwa der Diskussion, die ausgelöst wurde, als Anthropic vor KI-Risiken warnte und für mehr Vorsicht beim Training leistungsfähiger Modelle plädierte.
Die SocioHack-Studie macht deutlich, dass KI-Schlupflöcher kein theoretisches Randproblem sind, sondern eine strukturelle Eigenschaft moderner, mit Reinforcement Learning trainierter Sprachmodelle. Einfache Nachbesserungen reichen nicht aus, denn sobald eine Lücke geschlossen wird, sucht das Modell weiter nach der nächsten, subtileren Variante. Für Android- und Google-Nutzer ist das mehr als eine akademische Randnotiz: Je mehr Verantwortung KI-Assistenten im Alltag übernehmen, desto wichtiger wird die Erkenntnis, dass „technisch regelkonform“ nicht automatisch „im Sinne des Nutzers“ bedeutet.
Sie sehen gerade einen Platzhalterinhalt von Instagram. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Sie sehen gerade einen Platzhalterinhalt von X. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
