Zum Inhalt springen
Digitalgepflegt

Trainingsdaten

Trainingsdaten sind die Texte und Bilder, aus denen ein KI-Modell gelernt hat — sie bestimmen, was es kann und was es verzerrt.

Trainingsdaten sind das Material, aus dem ein KI-Modell gelernt hat: Texte, Bilder, Tonaufnahmen, Messwerte — je nach Aufgabe. Ein Sprachmodell hat aus Milliarden von Textseiten gelernt, ein System zur Befundung von Röntgenbildern aus vielen tausend bereits beurteilten Aufnahmen.

Das Modell ist ein Abbild dieses Materials. Was darin häufig vorkommt, kann es gut; was selten vorkommt, schlecht; was fehlt, gar nicht. Und was darin schief ist, gibt es schief wieder. Die Frage, womit ein System trainiert wurde, ist deshalb die wichtigste, die man ihm stellen kann.

Der Stichtag

Jedes Modell hat einen Zeitpunkt, bis zu dem sein Material reicht. Was danach geschah, kennt es nicht — eine geänderte Leitlinie, ein zurückgezogenes Medikament, ein neues Gesetz. Es weiß auch nicht, dass es etwas nicht weiß, und antwortet mit dem alten Stand in gewohnter Sicherheit.

Viele Assistenten gleichen das aus, indem sie zusätzlich im Netz suchen. Das hilft, wenn die Suche stattfindet und gute Quellen findet. Bei medizinischen Fragen, deren Antwort sich ändert, bleibt Vorsicht angebracht.

Herkunft und Schieflage

Sprachmodelle haben überwiegend aus englischsprachigen Texten gelernt, und unter diesen überwiegend aus solchen, die frei im Netz stehen. Das hat Folgen. Das amerikanische Gesundheitswesen ist im Material weit stärker vertreten als das deutsche; Fragen zu Kostenträgern, Zuständigkeiten, Abläufen oder Berufsbezeichnungen werden gelegentlich mit dortigen Verhältnissen beantwortet.

Im Netz steht außerdem nicht nur Gesichertes. Foren, Werbetexte, veraltete Ratgeber und Fachliteratur liegen im Material nebeneinander. Das Modell unterscheidet nicht nach Güte der Quelle, sondern nach Häufigkeit des Musters.

Verzerrung in medizinischen Systemen

Bei Systemen, die diagnostische oder prognostische Aussagen treffen, ist die Zusammensetzung des Materials eine Frage der Patientensicherheit. Ein System zur Erkennung von Hautveränderungen, das fast nur an heller Haut trainiert wurde, arbeitet an dunkler Haut schlechter. Ein Modell, das an Daten einer Universitätsklinik gelernt hat, trifft in einer Hausarztpraxis auf andere Patienten und irrt häufiger.

Dasselbe gilt für Alter, Geschlecht und Begleiterkrankungen. Frauen, alte Menschen und Kinder waren in medizinischen Daten lange unterrepräsentiert; ein Modell übernimmt diese Lücke, ohne sie anzuzeigen.

Und es übernimmt die Entscheidungen der Vergangenheit. Wurde eine Patientengruppe früher seltener untersucht oder behandelt, lernt das Modell daraus, dass sie seltener krank sei oder weniger Behandlung brauche. So wird eine alte Ungleichheit zur scheinbar sachlichen Empfehlung.

Fragen an einen Anbieter

Wer ein System für medizinische Zwecke anschafft, darf und sollte nachfragen:

  • An welchen Daten wurde trainiert — woher, aus welchen Jahren, von wie vielen Patienten?
  • Wie waren Alter, Geschlecht und Herkunft verteilt?
  • An welchen unabhängigen Daten wurde geprüft, und mit welchem Ergebnis?
  • Für welche Patienten und welche Umgebung ist das System vorgesehen — und für welche nicht?
  • Lernt es im Betrieb weiter, und wenn ja, woraus?

Für Medizinprodukte gehören solche Angaben zur vorgeschriebenen Dokumentation; die europäische Regulierung für Künstliche Intelligenz stellt für risikoreiche Anwendungen eigene Anforderungen an die Qualität der Daten. Ein Anbieter, der diese Fragen nicht beantworten kann oder will, hat damit etwas mitgeteilt.

Die eigenen Daten als Trainingsmaterial

Die Frage stellt sich auch umgekehrt: Werden Daten der eigenen Einrichtung zum Training verwendet? Bei manchen Diensten können eingegebene Texte, hochgeladene Bilder oder diktierte Befunde zur Verbesserung der Modelle genutzt werden — je nach Vertrag und Einstellung.

Für Gesundheitsdaten ist das heikel. Was einmal in ein Modell eingeflossen ist, lässt sich nicht gezielt wieder entfernen. Verträge für den beruflichen Einsatz schließen eine solche Nutzung meist aus; bei kostenlosen Angeboten ist sie häufig voreingestellt. Das gehört vor der ersten Eingabe geprüft.

Forschung mit Behandlungsdaten ist davon zu unterscheiden. Sie ist unter bestimmten Voraussetzungen möglich und gesellschaftlich erwünscht — mit Einwilligung oder auf gesetzlicher Grundlage, in der Regel pseudonymisiert und mit geregelten Zugängen. Auch das ist ein Feld, das sich rechtlich bewegt.

Die eigene Website als Trainingsmaterial

Öffentliche Websites werden von den Sammlern der KI-Anbieter abgerufen — zum Training und für die Suche im Moment einer Frage. Über die robots.txt lässt sich das für die Anbieter untersagen, die sich daran halten; die Sammler geben sich meist zu erkennen und lassen sich einzeln ansprechen.

Ob man das will, ist eine Abwägung. Wer sperrt, schützt seine Texte davor, in fremde Modelle einzugehen — und kommt in deren Antworten seltener vor. Für eine Einrichtung, die gefunden werden will, überwiegt meist das Zweite. Für eine, deren aufwendig erstellte Fachinhalte ihr Kapital sind, kann es anders aussehen.

Was daraus folgt

Kein Misstrauen gegen die Technik, aber eine Gewohnheit: bei jeder Auskunft eines KI-Systems mitzudenken, woraus es gelernt haben mag. Für eine allgemeine Erklärung reicht das Material fast immer. Für die aktuelle Empfehlung, die örtliche Regelung, die seltene Erkrankung und die Patientin, die in keiner Studie vorkam, reicht es oft nicht — und genau dort sind die Fragen, bei denen es darauf ankommt.

Erstgespräch

Sprechen wir über Ihre digitale Sichtbarkeit.

Wir sehen uns Ihre Situation an und sagen Ihnen, was zuerst lohnt — kostenfrei und unverbindlich.