Eine KI-Halluzination ist eine Ausgabe, die ein KI-System als plausibel oder faktisch darstellt, die jedoch falsch, nicht gestützt oder inkonsistent mit ihrem Quellmaterial ist. Bei generativen Sprachmodellen kann eine flüssige Formulierung ein erfundenes Detail zuverlässig wirken lassen, selbst wenn das Modell keine verlässliche Grundlage dafür hat.

Sprachmodelle generieren Text, indem sie wahrscheinliche Fortsetzungen aus Mustern in ihrem Training und Kontext abschätzen. Sie überprüfen nicht automatisch jede Behauptung anhand einer verifizierten Quelle. Eine Anfrage nach einem präzisen Zitat, einer im Prompt fehlenden Tatsache oder eine ungewöhnliche Frage kann daher zu überzeugenden, aber falschen Inhalten führen. Abfragetools, Grounding und Validierung können einige Fehler reduzieren, aber jedes hat Grenzen und kann auf seine eigene Weise versagen.

Architektur und Governance

Halluzination ist eine Eigenschaft der Architektur und kein Systemfehler. Das bedeutet nicht, dass jedes ungenaue Ergebnis harmlos ist oder dass Organisationen es ohne Kontrolle hinnehmen sollten. Es bedeutet, dass die Governance plausible Fehler als erwartetes Systemverhalten einplanen muss, anstatt ein Modell wie eine Datenbank zu behandeln, die nur gelegentlich korrigiert werden muss.

Der Grad der Überprüfung sollte den Konsequenzen der Nutzung entsprechen. Ein Brainstorming-Assistent benötigt möglicherweise einen klaren Hinweis darauf, dass Vorschläge überprüft werden müssen. Ein System, das für medizinische, rechtliche, finanzielle oder arbeitsbezogene Entscheidungen genutzt wird, erfordert eine stärkere Validierung, maßgebliche Quellen, eine dokumentierte Überprüfung und eine klare Grenze für das, was es entscheiden darf. Ein menschlicher Prüfer muss über die Informationen und die Zeit verfügen, die Antwort zu überprüfen, anstatt einfach nur einen Bildschirm voller flüssigem Text zu genehmigen.

Exposition reduzieren und Fehler sichtbar machen

Organisationen können wahrscheinliche Ausfallszenarien vor der Bereitstellung testen, einschließlich fehlender Informationen, mehrdeutiger Prompts und feindseliger Eingaben. Sie sollten die faktische Genauigkeit bei repräsentativen Aufgaben messen, Zitate und Quellenlinks überprüfen und testen, ob das System Unsicherheit angemessen signalisiert. Die Evaluierung muss nach der Veröffentlichung fortgesetzt werden, da Änderungen an Prompts, Modellen, Abrufquellen und dem Nutzerverhalten die Ergebnisse verändern können.

Das Design kann die Überprüfung erleichtern: Quellmaterial anzeigen, abgerufene Fakten von generierten Formulierungen unterscheiden und den Nutzern eine einfache Möglichkeit geben, Fehler zu melden. Richtlinien sollten festlegen, welche Ausgaben eine unabhängige Bestätigung erfordern, und verbieten, dass nicht unterstützte Antworten als alleinige Grundlage für folgenseure Entscheidungen verwendet werden. Die Meldung von Vorfällen kann wiederkehrende Muster aufzeigen und Aktualisierungen des Trainings, der Prompts, der Kontrollen oder der beabsichtigten Verwendung ermöglichen.

Benutzer benötigen zudem die Anleitung, dass Sprachgewandtheit kein Beweis ist. Wenn ein Ergebnis eine andere Person, Geld, die Sicherheit oder einen offiziellen Datensatz betrifft, verbleibt die Verantwortung bei den Personen und der Organisation, die das System nutzen. Die relevante Frage ist nicht, ob ein Modell manchmal falsch liegen kann, sondern ob das System so konzipiert ist, dass Fehler gefunden, eingegrenzt und korrigiert werden können, bevor sie vermeidbaren Schaden verursachen.