Das agentische KI-Risiko ist die Möglichkeit von Schaden oder Verlust, die entsteht, wenn ein KI-System mit begrenzter menschlicher Schritt-für-Schritt-Anleitung auf ein Ziel hinarbeiten kann. Das Risiko wächst, wenn ein System Werkzeuge nutzen, Daten verändern, mit anderen Systemen kommunizieren oder Arbeit an andere Agenten delegieren kann.

Ein Agent kann eine Reihe von Schritten planen, Software-Tools aufrufen, Informationen abrufen oder im Auftrag eines Benutzers handeln. Dies kann eine Aufgabe effizienter machen, erweitert jedoch auch die Befugnisse des Systems. Eine fehlerhafte Interpretation, die bei einer Textantwort harmlos wäre, kann größere Konsequenzen haben, wenn der Agent eine Nachricht senden, einen Datensatz ändern, einen Kauf tätigen oder einen anderen Prozess starten kann.

Delegation verschiebt die Risikogrenze

Die Delegation von Agent zu Agent kann es schwieriger machen, nachzuvollziehen, welches System eine Entscheidung getroffen hat und welche Anweisungen sie geprägt haben. Jede Übergabe kann den Kontext, die Berechtigungen oder die Prüfebene verändern. Eine Organisation sollte die Kette von Agenten und Werkzeugen abbilden, den Zugriff jedes Akteurs auf das Notwendige beschränken und Aufzeichnungen führen, die Handlungen zuordenbar machen. Sie sollte auch testen, wie sich die Kette verhält, wenn ein Agent schlechte Daten, ein mehrdeutiges Ziel oder feindselige Anweisungen erhält.

Wenn mehrere Agenten interagieren, ist ihr kombiniertes Verhalten möglicherweise nicht durch das Testen jedes einzelnen in Isolation vorhersagbar. Agenten können Aktionen wiederholen, Fehler verstärken, um geteilte Ressourcen konkurrieren oder fehlerhafte Annahmen weitergeben. Diese Multi-Agenten-Emergenz ist ein Problem auf Systemebene: Die Überwachung nur eines Modells oder einer Benutzeroberfläche übersieht möglicherweise Aktivitäten, die im verbundenen Arbeitsablauf stattfinden.

Die Aufsicht muss auf Systemebene funktionieren

Menschliche Aufsicht ist nur dann sinnvoll, wenn eine Person verstehen kann, wann ein Eingreifen erforderlich ist, und handeln kann, bevor ein Schaden schwer rückgängig zu machen ist. Prüfpunkte sollten die Auswirkungen und die Umkehrbarkeit einer Aktion widerspiegeln. Schritte mit geringen Auswirkungen können innerhalb klarer Grenzen automatisiert werden; folgenschwere oder externe Aktionen erfordern möglicherweise eine Bestätigung, eine doppelte Freigabe oder einen eingeschränkten Betriebsmodus.

Ein Not-Aus-Schalter (Kill Switch) sollte als Teil des Systems entworfen und getestet und nicht als informelles Versprechen verstanden werden. Teams müssen wissen, was der Schalter stoppt, ob er Werkzeugberechtigungen und in der Warteschlange befindliche Aufgaben widerruft und wie der Dienst sicher wiederhergestellt werden kann. Eine namentlich genannte verantwortliche Person sollte in der Lage sein, den Agenten anzuhalten, während Vorfallbearbeiter Aufzeichnungen sichern und untersuchen können, was passiert ist.

Vor der Bereitstellung können Unternehmen mit eingeschränkten Berechtigungen, Sandbox-Tests und expliziten Aktionslimits beginnen. Während der Nutzung sollten sie nicht nur die Ausgabequalität, sondern auch Tool-Aufrufe, Delegationsmuster, Änderungen des Aufgabenbereichs und Versuche, die Befugnisse zu überschreiten, überwachen. Die Risikoprüfung sollte wiederholt werden, wenn sich das Modell, die Tools, die Berechtigungen oder die Betriebsumgebung ändern.