Zum Inhalt springen
Digitalgepflegt

Halluzination (KI)

Als Halluzination bezeichnet man eine erfundene, aber plausibel klingende Aussage eines Sprachmodells.

Als Halluzination bezeichnet man eine Aussage eines Sprachmodells, die plausibel klingt, flüssig formuliert ist — und nicht stimmt. Das Modell nennt eine Studie, die es nicht gibt, schreibt einem Medikament eine falsche Dosierung zu oder erfindet für eine Praxis Sprechzeiten.

Der Begriff ist umstritten, weil er an eine Störung denken lässt. Tatsächlich arbeitet das Modell dabei genauso wie sonst. Es setzt Text fort, Wort für Wort, nach dem, was wahrscheinlich passt. Meist deckt sich das Wahrscheinliche mit dem Richtigen. Manchmal nicht — und das Modell hat keine eingebaute Unterscheidung zwischen beidem.

Warum es dazu kommt

Ein Sprachmodell schlägt nicht nach, sondern formuliert. Wo es zu einer Frage viel und Übereinstimmendes gelernt hat, sind die Antworten verlässlich. Wo es wenig gelernt hat, Widersprüchliches oder nichts, füllt es die Lücke mit dem, was der Form nach passt.

Typische Auslöser sind Fragen nach genauen Angaben — Zahlen, Daten, Namen, Quellen, Zitaten —, nach Seltenem und Örtlichem, nach Dingen, die sich seit dem Stichtag des Modells geändert haben, und Fragen, die etwas Falsches voraussetzen. Auf „Welche Nebenwirkungen hat die Kombination von X und Y?“ antwortet ein Modell auch dann ausführlich, wenn es darüber nichts weiß.

Systeme, die zusätzlich im Netz suchen und Quellen angeben, irren seltener, aber nicht nie. Sie können eine Quelle falsch zusammenfassen oder ihr etwas zuschreiben, das dort nicht steht.

Woran man sie nicht erkennt

Am Ton. Eine erfundene Aussage kommt mit derselben Sicherheit daher wie eine zutreffende, in tadellosem Deutsch und oft mit einleuchtender Begründung. Menschen, die sich irren, zögern häufig; ein Sprachmodell zögert nicht.

Das macht Halluzinationen gefährlicher als gewöhnliche Fehler. Ein Text voller Tippfehler weckt Misstrauen. Ein fehlerfreier, kundig klingender Text weckt Vertrauen — unabhängig davon, ob er stimmt.

Warum das im Gesundheitswesen besonders wiegt

Weil die Folgen andere sind. Eine falsche Auskunft zu einer Dosierung, einer Wechselwirkung, einem Warnzeichen oder einer Frist für eine Impfung kann schaden, und der Fragende kann sie nicht als falsch erkennen.

Für Einrichtungen ergeben sich daraus drei Berührungspunkte: Patienten, die mit Auskünften aus einem Assistenten kommen; eigene Mitarbeitende, die solche Werkzeuge nutzen; und eigene Angebote, in denen eine Maschine antwortet.

Patienten mit Vorwissen aus der Maschine

Das ist inzwischen Alltag und nicht grundsätzlich schlecht — viele kommen besser vorbereitet. Es heißt aber, dass im Gespräch gelegentlich etwas richtigzustellen ist, das der Patient mit großer Überzeugung vorträgt. Hilfreich ist, das ohne Herablassung zu tun und zu fragen, woher die Auskunft stammt.

Auf der eigenen Website helfen klare, eindeutige Angaben, weil Assistenten auf sie zugreifen. Was dort unmissverständlich steht, wird seltener falsch wiedergegeben.

Mitarbeitende, die KI-Werkzeuge nutzen

Zum Formulieren von Briefen, zum Zusammenfassen, zum Übersetzen, zum Nachschlagen. Für jede dieser Verwendungen gilt: Das Ergebnis ist ein Entwurf, und wer ihn verwendet, verantwortet ihn. Genannte Quellen sind nachzuschlagen — erfundene Literaturangaben mit echten Autorennamen und plausiblen Titeln sind ein bekanntes Muster.

Besonders tückisch sind Zusammenfassungen. Eine Zusammenfassung eines Arztbriefs kann etwas enthalten, das im Brief nicht steht, oder etwas Wesentliches weglassen. Wer die Zusammenfassung liest statt des Briefs, bemerkt es nicht.

Davon unabhängig stellt sich die Frage, ob Texte mit Patientenbezug überhaupt in ein solches Werkzeug gegeben werden dürfen — eine Frage des Datenschutzes und der Schweigepflicht, die vor dem Einsatz zu klären ist.

Eigene Angebote: der Chatbot auf der Website

Wo eine Maschine Patienten direkt antwortet, gehört sie auf Organisatorisches begrenzt: Zeiten, Wege, Unterlagen, Terminvereinbarung. Und sie sollte nicht frei formulieren, sondern aus hinterlegten, geprüften Auskünften antworten — und sagen, wenn sie etwas nicht weiß, statt etwas zu erfinden.

Medizinische Einschätzungen gehören nicht in ein solches Angebot. Für Software, die diagnostische oder therapeutische Aussagen trifft, gelten eigene, strenge Regeln; und unabhängig davon ist es keine Aufgabe, die man einem System überlässt, das nicht zwischen Wissen und Vermuten unterscheidet.

Kenntlich gemacht werden muss, dass eine Maschine antwortet, und es braucht jederzeit einen Weg zu einem Menschen.

Texte für die eigene Website

Sprachmodelle schreiben in Sekunden einen gefälligen Text über jede Behandlung. Darin stecken regelmäßig Aussagen, die für die eigene Praxis nicht zutreffen, veraltet sind oder — als Werbeaussage über eine Behandlung — nicht zulässig wären.

Als Entwurf ist ein solcher Text brauchbar. Veröffentlicht wird er erst, wenn jemand vom Fach ihn Satz für Satz gelesen hat. Das dauert länger, als ihn zu erzeugen, und es ist der Teil, der sich nicht abkürzen lässt.

Lässt sich das abstellen?

Die Systeme werden besser, und Verfahren, die Antworten an geprüfte Quellen binden, senken die Fehlerquote deutlich. Vollständig verschwinden werden erfundene Aussagen bei dieser Technik nach heutigem Stand nicht. Die angemessene Haltung ist deshalb weder Ablehnung noch Vertrauen, sondern die eines erfahrenen Kollegen gegenüber einem belesenen Berufsanfänger: zuhören, nutzen — und nachprüfen, bevor etwas den Patienten erreicht.

Erstgespräch

Sprechen wir über Ihre digitale Sichtbarkeit.

Wir sehen uns Ihre Situation an und sagen Ihnen, was zuerst lohnt — kostenfrei und unverbindlich.