Menschliche Aufsicht über KI ist die Fähigkeit von Personen mit entsprechender Befugnis und Sachkenntnis, die Nutzung eines KI-Systems zu verstehen, zu überwachen und einzugreifen. Eine wirksame Aufsicht gibt dem Menschen eine sinnvolle Möglichkeit, ein Ergebnis zu hinterfragen oder zu ändern, anstatt ihn aufzufordern, eine Entscheidung zu genehmigen, die er nicht beurteilen kann.

Zwei gängige Beschreibungen sind Human-in-the-Loop und Human-on-the-Loop. Bei einer Human-in-the-Loop-Anordnung hält das System an, um menschliche Eingaben oder Genehmigungen einzuholen, bevor eine definierte Aktion ausgeführt wird. Bei einer Human-on-the-Loop-Anordnung handelt das System innerhalb festgelegter Grenzen, während eine Person den Betrieb überwacht und eingreifen kann. Keine dieser Bezeichnungen garantiert eine gute Aufsicht: Die Details zu Befugnissen, Timing, Informationen und Arbeitsbelastung bestimmen, ob eine Person etwas bewirken kann.

Eingriffe praktisch gestalten

Menschen müssen wissen, wofür das System da ist, was es nicht zuverlässig tun kann, welche Fälle Aufmerksamkeit erfordern und welche Beweise ein Ergebnis stützen. Sie brauchen genug Zeit, um diese Informationen zu überprüfen, und eine Möglichkeit, das System anzufechten oder zu übersteuern. Wenn die Oberfläche Ungewissheit verbirgt, die Warteschlange zu groß ist oder das Management allein Geschwindigkeit belohnt, kann ein nominaler Genehmigungsschritt zu einer reinen Formsache werden.

Das Design der Aufsicht sollte den Auswirkungen und der Reversibilität der Maßnahme entsprechen. Ein Vorschlag mit geringen Auswirkungen kann durch Stichproben und Eskalationsregeln überprüft werden. Eine Entscheidung, die einer Person eine Chance verwehren oder die Sicherheit beeinträchtigen kann, erfordert möglicherweise eine individuelle Überprüfung, nachvollziehbare Gründe und einen Weg zur Neubewertung des Ergebnisses. Die Organisation sollte testen, ob diese Kontrollen unter realistischem Zeitdruck und bei fehlerhaftem System funktionieren.

Der benannte Mensch

Jedes eingesetzte KI-System sollte einen namentlich bekannten menschlichen Verantwortlichen haben. Der Verantwortliche ist für den genehmigten Zweck und Betrieb rechenschaftspflichtig, weiß, welche Teams Tests und Überwachungen durchführen, und hat die Befugnis, eine Überprüfung anzufordern oder die Nutzung zu pausieren. Diese Rolle kann nicht vage an ein Gremium übertragen werden. Gremien können Richtlinien festlegen und Nachweise hinterfragen, aber eine bestimmte Person muss jedes System verantworten und handeln, wenn ein Schwellenwert überschritten wird.

Dieser Verantwortliche sollte gegebenenfalls von technischen Spezialisten, Rechts- und Risikoteams, Frontline-Anwendern und betroffenen Personen unterstützt werden. Die Verantwortlichkeiten sollten über den gesamten Lebenszyklus hinweg dokumentiert werden: Wer genehmigt den Einsatz, wer überwacht die Leistung, wer kümmert sich um Vorfälle und wer entscheidet, ob das System nach einer Pause wieder in Betrieb genommen werden darf. Der Verantwortliche benötigt zudem eine namentlich genannte Vertretung oder einen Kontinuitätsplan für Abwesenheiten.

Menschliche Aufsicht ist kein Ersatz für zuverlässiges Design oder angemessene Grenzen. Menschen können Fehler machen, sich zu stark auf Automatisierung verlassen oder ihnen fehlt der Kontext, um einen Fehler zu erkennen. Eine gute Governance kombiniert menschliches Urteilsvermögen mit Systemtests, klaren Grenzen, Aufzeichnungen, Eskalationswegen und Eingriffsbefugnissen. Das Ziel ist es, Verantwortung real zu machen und Entscheidungen anfechtbar zu halten, wenn die Konsequenzen von Bedeutung sind.