Jahrzehntelang hatte eine Prozessakte eine präzise Funktion: von Menschen gelesen zu werden. Richter, Anwälte, technische Berater und Kanzleimitarbeiter interpretieren deren Inhalte, wägen die Argumente ab und rekonstruieren den Beweiswert. Informationssysteme haben sich bis heute darauf beschränkt, sie zu speichern, zu übermitteln und zu archivieren.
Der Fall, der Anlass zu dieser Überlegung gab, stammt aus Brasilien, aus einem Arbeitsgerichtsverfahren, in dem zwei Anwälte in eine Akte einen für das unaufmerksame Auge unsichtbaren, aber von einem automatischen System perfekt lesbaren Satz eingefügt hatten, der die künstliche Intelligenz ausdrücklich aufforderte, die Petition oberflächlich anzufechten, ohne die Dokumente anzugreifen. Der Richter brauchte keine Wochen, um dies zu bemerken: Er identifizierte den Text mit IT-Tools im Rahmen der normalen Analyse der Akte, sanktionierte beide Anwälte und übermittelte die Akten an die zuständige Berufskammer für disziplinarrechtliche Aspekte.
Das interessanteste Detail ist jedoch nicht die Sanktion an sich. Es ist die Tatsache, dass das Gericht nicht nachweisen musste, dass die KI tatsächlich beeinflusst wurde oder dass der Versuch konkrete Folgen hatte: Es genügte, dass die Einreichung einer Akte mit versteckten Anweisungen die Grundsätze der Korrektheit und des prozessualen guten Glaubens verletzte. Es ist nicht erforderlich, dass die Täuschung funktioniert. Es reicht, dass sie geschrieben und eingereicht wurde.
Das mag wie ein subtiler Unterschied erscheinen. In Wirklichkeit ist es ein Paradigmenwechsel.
Ein Dokument, das nicht mehr nur gelesen wird
Immer mehr Organisationen setzen KI-Tools zur Analyse großer Dokumentenmengen ein, und der Rechtssektor bildet keine Ausnahme. Es gibt bereits Plattformen, die in der Lage sind, Akten zusammenzufassen, Rechtsvorschriften zu identifizieren, Urteile zu vergleichen, Präzedenzfälle zu suchen und die Dokumentenverwaltung zu unterstützen.
In diesen Kontexten hört das Dokument auf, ein einfacher zu konsultierender Text zu sein: Es wird zum Rohmaterial, auf dem das System seine Verarbeitungen aufbaut. Und hier führt der brasilianische Fall ein Element ein, das die Perspektive verändert: Ein Sprachmodell unterscheidet von Natur aus nicht zwischen einem zu analysierenden Inhalt und einer auszuführenden Anweisung – alles, was in seinen Kontext gelangt, wird als potenzieller Befehl verarbeitet.
Wenn Inhalt zum Befehl wird: Was ist Prompt Injection
In der Sprache der Cybersecurity gibt es einen spezifischen Begriff für dieses Phänomen: Prompt Injection. Es handelt sich um die Technik, in einem Inhalt, den ein KI-System lesen soll, eine als normaler Text getarnte Anweisung zu verbergen, mit dem Ziel, es eine andere Aktion ausführen zu lassen als die, für die es beauftragt wurde.
Es gibt eine wichtige Unterscheidung zwischen zwei Varianten: der direkten, bei der der Benutzer selbst versucht, das System zu manipulieren, und der indirekten, bei der der Befehl in einem Drittdokument versteckt ist, zu dessen Auslesen die KI autorisiert ist. Der brasilianische Fall gehört genau zu dieser zweiten Kategorie: Der Prozessschriftsatz, ein Text, von dem niemand erwarten würde, dass er mit einer Maschine „sprechen“ kann, wurde zum Vehikel des Angriffs.
Ein technischer Aspekt macht das Phänomen noch heimtückischer. Eine aktuelle Studie des MIT (präsentiert auf der ICML 2026) hat gezeigt, dass Sprachmodelle dazu neigen, die Autorität eines Textes eher aus seinem Stil als aus den technischen Markierungen abzuleiten, die in der Architektur System, Benutzer und Tools trennen; und wenn ein Text wie die autoritative Argumentation des Modells selbst klingt, wird er tendenziell als solcher behandelt, auch wenn er aus einer wenig vertrauenswürdigen Quelle stammt. In der Studie erzielten die Forscher durch Simulation einer falschen internen Argumentation innerhalb eines Benutzerkanals eine Erfolgsquote des Angriffs von 60 % bei den fortschrittlichsten Modellen, gegenüber einer Quote nahe null bei Versuchen direkter und grober Manipulation. Es ist nicht die Logik des Textes, die das System täuscht: Es ist der Ton, in dem er geschrieben ist.
Der Text muss nicht einmal lesbar sein
Die anspruchsvollste Ebene des Phänomens betrifft die eigentliche technische Verschleierung. Ein Befehl kann für einen menschlichen Leser unsichtbar gemacht werden, indem Unicode-Zeichen mit Nullbreite oder bidirektionale Steuerzeichen verwendet werden (dieselben Techniken, die von den sogenannten Trojan Source Attacks beschrieben werden, die 2021 von der Universität Cambridge identifiziert wurden), während er für ein System, das den Text Zeichen für Zeichen verarbeitet, dennoch perfekt ausführbar bleibt. Eine Akte kann daher in den Augen eines Richters harmlos erscheinen und dennoch eine operative Anweisung für jeden Algorithmus enthalten, der sie verarbeitet.
Das Vertrauen in Dokumente erfordert eine zusätzliche Anforderung
Die Digitalisierung der Justiz hat die Aufmerksamkeit bisher auf Authentizität, elektronische Signatur, Dateiintegrität und Datenschutz konzentriert. Unverzichtbare Elemente, aber allein nicht mehr ausreichend.
Mit dem Einzug der KI kommt eine weitere Anforderung hinzu: sich nicht nur auf die Herkunft des Dokuments verlassen zu können, sondern auch auf die Art und Weise, wie es von automatischen Systemen interpretiert wird. Es gibt ein Detail des brasilianischen Falls, das besondere Aufmerksamkeit verdient: Der versteckte Befehl war so geschrieben, dass er potenziell sowohl die KI-Systeme der Gegenpartei als auch die möglicherweise bereits im Justizapparat selbst verwendeten treffen konnte. Wer ihn geschrieben hat, ging mit anderen Worten davon aus, dass künstliche Intelligenz bereits in die Arbeitsabläufe der Gerichte eingedrungen war, nicht nur in die der Anwaltskanzleien.
Eine Auswirkung, die die gesamte Kette betrifft
Richter werden zuverlässige Tools benötigen, die so konzipiert sind, dass sie den Inhalt eines Dokuments klar von den Anweisungen trennen, die dessen automatische Verarbeitung steuern.
Anwälte werden sich bei der Abfassung von Schriftsätzen mit einer neuen Dimension auseinandersetzen müssen: Der Richter bleibt der endgültige Adressat, aber es ist zunehmend wahrscheinlich, dass das Dokument vorab auch von automatischen Systemen verarbeitet wird, die für Recherche, Klassifizierung oder Zusammenfassung eingesetzt werden.
Auch die öffentliche Verwaltung wird sich mit diesem Wandel auseinandersetzen müssen, während die KI in Dokumentenprozesse und Bürgerdienste einzieht. Die Sicherheit kann sich nicht mehr darauf beschränken, Infrastrukturen und Datenbanken zu schützen, sondern muss sich auf die Inhalte erstrecken, die diese Systeme speisen.
Für technische Berater eröffnet sich ein völlig neuer Bereich: Die Bewertung eines Dokuments könnte in Zukunft bedeuten, nicht nur dessen rechtliche Gültigkeit zu prüfen, sondern auch die möglichen Auswirkungen auf die automatisierten Prozesse, die es verarbeiten.
Eine neue Verantwortung für Legal-Tech
Internationale Organisationen wie OWASP und NIST widmen den Risiken, die aus der Interaktion zwischen Dokumenten und Modellen künstlicher Intelligenz entstehen, bereits zunehmende Aufmerksamkeit. Das Grundprinzip ist klar: Kein empfangener Inhalt kann allein deshalb als harmlos angesehen werden, weil er sich als normales Dokument präsentiert.
Legal-Tech-Plattformen der Zukunft müssen Mechanismen integrieren, die in der Lage sind, Inputs sicher zu analysieren, den dokumentarischen Inhalt von den Anweisungen zu trennen, die die Funktionsweise der KI steuern, und das Risiko zu verringern, dass gezielt konstruierte Informationen die Ergebnisse der Verarbeitung verfälschen können. Keine Aufforderung, Dokumenten zu misstrauen, sondern die Anerkennung, dass sich ihre Rolle verändert hat.
Eine Überlegung, die über den Einzelfall hinausgeht
Der Wert des Falls Galileu erschöpft sich nicht in dem Gerichtsverfahren, das ihn in die Aufmerksamkeit der Rechtsakteure gebracht hat. Sein wichtigster Beitrag liegt darin, ein Phänomen ans Licht gebracht zu haben, das sich immer häufiger wiederholen wird: Dokumente haben aufgehört, einfache Informationsbehälter zu sein, und sind zu Elementen geworden, die mit intelligenten Systemen interagieren.
Jahrelang konzentrierte sich die Cybersecurity auf Netzwerke, Server und Anwendungen. Heute kommt eine neue Dimension hinzu: die der Dokumentensicherheit im Zeitalter der künstlichen Intelligenz. Diese Entwicklung zu verstehen bedeutet, sich auf eine zunehmend digitale Justiz vorzubereiten, ohne auf ein grundlegendes Prinzip zu verzichten: Das Vertrauen in Dokumente muss gewährleistet bleiben, auch wenn der erste Leser nicht mehr eine Person, sondern ein Algorithmus ist.
Es bleibt jedoch ein Element, das keine Plattform, so ausgeklügelt sie auch sein mag, jemals ersetzen kann: die Fähigkeit von Menschen, ein Risiko zu erkennen, bevor es zu einem Vorfall wird.
Denn wenn es wahr ist, dass Systeme aus den Dokumenten lernen, die sie analysieren, ist es ebenso wahr, dass Organisationen aus den Kompetenzen derjenigen lernen, die diese Dokumente täglich bearbeiten. In die Sensibilisierung derjenigen zu investieren, die mit sensiblen Daten arbeiten, bleibt heute mehr denn je die erste Sicherheitsmaßnahme … die kein Algorithmus allein replizieren kann!
