Verantwortungsvolle KI im Gesundheitswesen: Vier Säulen des Vertrauens für klinische generative KI

Die vier Säulen des Vertrauens für klinische GenAI

Verantwortungsvolle KI-Lösungen müssen auf einem Rahmenwerk von fachlicher Kontrolle und kontinuierlicher Verbesserung aufgebaut sein. Vazirani empfiehlt, klinische GenAI-Tools anhand einer Checkliste mit vier Vertrauenssäulen zu überprüfen:

1. Strenge klinische Überprüfung

Die Grundlage der klinischen GenAI muss ein robustes System der klinischen Überprüfung unter Einbeziehung von Expert:innen sein, die die KI dabei unterstützen, kontextuell angemessene Antworten zu geben:

• Strenge klinische Überprüfung der kuratierten Trainingsfragen: Im Rahmen seiner Arbeit bei UpToDate hat Vaziranis Team beispielsweise 4.000 kuratierte „goldene Fragen“ aus 25 Fachgebieten verwendet, die das Rückgrat der Schulungsmodelle bilden. Dies trägt laut Vazirani dazu bei, dass die Ergebnisse auf spezifische Patientendemografien, klinische Relevanz, Erkrankungen und Behandlungsbedarfe zugeschnitten sind.
• Das Identifizieren unzuverlässiger Antworten: Ebenso wichtig wie die Ermittlung zuverlässiger Ergebnisse ist die Identifizierung, Verfolgung und Verbesserung von Bereichen, in denen das Modell Daten mit geringer Relevanz abruft. Wenn ein klinisches LLM konsequent aus seinen Fehlern lernt, so Vazirani, baut es durch weitere Präzisierung Vertrauen auf.
• Überprüfung des Inhalts auf „Erklärbarkeit“ und Interpretierbarkeit.

2. Anwendungen in der realen Welt

Verantwortungsbewusste klinische GenAI-Plattformen sollten zusätzliche Überprüfungsebenen für Zuverlässigkeit und Angemessenheit beinhalten:

• Strenge klinische Überprüfung der von der KI generierten Antworten zur Bewertung der Zuverlässigkeit.
• Aufforderungen (Prompts) und Algorithmen hinter den Kulissen sollten so gestaltet sein, dass sie ethische Bedenken vorwegnehmen und KI-Antworten verantwortungsbewusst steuern. So stellen einige Systeme sicher, dass Abfragen, die eine Verletzung der Privatsphäre oder schädliche Fragen – etwa Überdosierung – beinhalten, automatisch blockiert werden.
• Zur Unterstützung dieses Prozesses sollten die Tools ständigen Tests unterzogen werden, wie z. B. der Berechnung von F1-Scores. So lässt sich ihre Fähigkeit zu bewerten, ein Gleichgewicht zwischen Zuverlässigkeit und Erinnerungsvermögen bei der Informationsbereitstellung herzustellen.

3. Kuratierte, evidenzbasierte Quelleninhalte

Während einige Fortschritte im Bereich der klinischen GenAI zu bahnbrechenden Anwendungen führen können, werden unkontrollierte Inhalte voraussichtlich zu Inkonsistenzen führen.

Die Zuverlässigkeit von LLM-Ergebnissen beginnt mit der Qualität des Quellmaterials. Im Gegensatz zu Open-Source-KI-Systemen, die ggf. auf unkontrollierte und ungeprüfte Daten zugreifen, verwenden verantwortungsbewusste Plattformen evidenzbasierte Quelleninhalte, die von Tausenden klinischer Expert:innen validiert wurden. Die Inhalte sollten aus vertrauenswürdiger medizinischer Literatur stammen und sich an etablierten Leitlinien orientieren.

Vazirani empfiehlt Lösungsanbieter, die sich an die folgenden verantwortungsvollen Standards halten:

• Sammeln von Nutzerfeedback von internen und externen Stakeholdern zu generierten Antworten.
• Erstellung von definierten Metriken zur Zuverlässigkeit der generierten Antworten.
• Anwendung einer strengen klinischen Überprüfung.

4. Kontinuierliche Verbesserung der Modelle

Kein KI-System ist statisch, sagt Vazirani. Klinische LLM-gestützte GenAI-Plattformen sollten sowohl interne klinische Überprüfungen als auch Feedbackschleifen von frühen Anwender:innen nutzen, um sich weiterzuentwickeln und zu innovieren. Das Sammeln von Daten aus realen Anwendungen hilft bei der Feinabstimmung von Prompts und Algorithmen und unterstützt verantwortungsvolle klinische KI-Tools bei der Anpassung an sich ändernde Bedürfnisse und Erwartungen:

• Kontinuierliche Feinabstimmung von LLM und Prompts zur Verbesserung der Zuverlässigkeit.
• Aufbau eines Lernmodells mit frühen Anwendern.

Klinische GenAI: Herausforderungen begegnen und Nutzen steigern

„Ich glaube, dass KI ein großes Potenzial hat, die Arbeit der medizinischen Fachkräfte zu erleichtern und auf verantwortungsbewusste Weise neue Nutzwerte zu schaffen“, sagt Vazirani.

Mit einer verantwortungsvollen klinischen LLM-GenAI-Plattform sieht er die Möglichkeit, mehrere universelle Herausforderungen zu bewältigen, denen sich Leistungserbringer gegenübersehen:

• Burnout im Gesundheitswesen: KI-Tools haben das Potenzial, das Burnout von Mitarbeitenden im Gesundheitswesen zu verringern, indem sie betriebliche und klinische Effizienz schaffen und den Zugang zu vertrauenswürdigen, klinischen Behandlungsinformationen beschleunigen.
• Reduzieren der Komplexität: Klinische KI-Tools haben das Potenzial, die Qualität der Behandlung und die Behandlungsergebnisse zu verbessern und proaktiv auf Gesundheitsbedarfe einzugehen, indem sie Informationen schnell aufzeigen und komplexe Entscheidungsprozesse vereinfachen.
• Integration: Durch die Beseitigung von Workflow-Hindernissen können KI-Tools, die in klinische Workflow-Lösungen integriert sind, Echtzeit-Erkenntnisse am Ort der Behandlung liefern und die klinische Entscheidungsfindung optimieren.
• Kostengründe: Mittels des Zugriffs von Behandlungsteams auf vertrauenswürdige, standardisierte Inhalte und der Schaffung von Konsistenz haben KI-Tools das Potenzial, kostspielige Behandlungsunterschiede zu verringern und die Behandlungsergebnisse zu verbessern.

Langfristiges Engagement

Verantwortung in der Innovation und Partnerschaft für KI: Verantwortungsbewusste KI im Gesundheitswesen erfordert ein ständiges Engagement für Qualität und Überprüfung sowohl seitens der Entwickler:innen als auch der Nutzer:innen von Lösungen. Klinische GenAI-Lösungen sind nur so stark wie die ihnen zugrundeliegenden Sicherungsstrategien. Durch die Konzentration auf die vier Säulen – strenge klinische Prüfung, Anwendung in der Praxis, kuratierte evidenzbasierte Quellen und kontinuierliche Verbesserungen – lässt sich das Vertrauen von Leistungserbringern und Patient:innen in KI-Lösungen stärken.