Große Sprachmodelle wie ChatGPT und andere KI-basierte Assistenzsysteme werden zunehmend auch im medizinischen Alltag eingesetzt. Sie können bei der Suche nach Leitlinien, bei klinischen Fragestellungen oder bei der Aufbereitung medizinischer Informationen unterstützen. Gleichzeitig bleibt eine zentrale Frage: Wie zuverlässig sind die Antworten solcher Systeme tatsächlich?
Besonders interessant wird diese Frage bei speziell für die Medizin entwickelten und regulatorisch zertifizierten Anwendungen. Mit Prof. Valmed ist inzwischen ein LLM-basierter medizinischer Chatbot als Medizinprodukt in Europa CE-gekennzeichnet. Gemeinsam mit Patricia Kirschner, Paula Z. Epping, Sven G. Meuth und Marc Pawlitzki haben wir daher erstmals systematisch untersucht, wie gut ein solches zertifiziertes System bei neurologischen Fragestellungen tatsächlich abschneidet.
Die Ergebnisse unserer Studie wurden nun im European Journal of Neurology veröffentlicht.
130 neurologische Fragen als wissenschaftlicher Benchmark
Für die Untersuchung haben wir keinen klassischen Multiple-Choice-Test verwendet, sondern einen bereits etablierten neurologischen Benchmark mit insgesamt 130 Fragen, der auf Leitlinien der American Academy of Neurology basiert.
Der Datensatz umfasst 13 unterschiedliche neurologische Themengebiete. Die Hälfte der Fragen waren klassische Wissensfragen, die andere Hälfte bestand aus klinischen Fallvignetten. Letztere sind besonders relevant, da hier nicht nur Faktenwissen abgefragt wird, sondern Leitlinienempfehlungen auf konkrete klinische Situationen übertragen werden müssen.
Jede der 130 Fragen wurde dem System viermal unabhängig gestellt. Insgesamt entstanden dadurch 520 Antworten.
Zwei Untersucher bewerteten jede Antwort unabhängig voneinander. Die Antworten wurden dabei in vier Kategorien eingeteilt:
- korrekt
- ungenau
- falsch
- Antwort verweigert
Bei unterschiedlichen Bewertungen erfolgte eine zusätzliche Beurteilung durch einen dritten Untersucher. Die Übereinstimmung zwischen den beiden primären Ratern war mit einem Cohen’s Kappa von 0,95 ausgesprochen hoch.
Ein wichtiger Aspekt der Studie war außerdem, dass wir Prof. Valmed nicht isoliert betrachteten. Da wir denselben Benchmark bereits in früheren Untersuchungen für andere Sprachmodelle verwendet hatten, konnten wir die Ergebnisse direkt mit 16 anderen LLM-Modellen beziehungsweise Modellkonfigurationen vergleichen.
Rund drei Viertel der Antworten waren korrekt
Prof. Valmed beantwortete 76,2 Prozent der Fragen korrekt.
Weitere 14,6 Prozent der Antworten wurden als ungenau bewertet, 6,9 Prozent als falsch. Bei 2,3 Prozent der Fragen verweigerte das System eine Antwort.
Interessanterweise zeigte sich nahezu kein Unterschied zwischen einfachen Wissensfragen und komplexeren klinischen Fallvignetten. Bei den Fallfragen waren 76,9 Prozent der Antworten korrekt, bei den Wissensfragen 75,4 Prozent.
Das spricht dafür, dass das System nicht ausschließlich beim Abrufen einzelner Fakten funktioniert, sondern auch bei der Anwendung medizinischer Informationen auf klinische Szenarien eine vergleichbare Leistung erreicht.
Wie schlägt sich ein CE-zertifiziertes System gegenüber ChatGPT und anderen LLMs?
Besonders interessant war für uns der direkte Vergleich mit anderen kommerziell verfügbaren Sprachmodellen.
Prof. Valmed schnitt signifikant besser als acht der zuvor getesteten Modelle beziehungsweise Konfigurationen ab. Diese Systeme hatten überwiegend ohne gezielte Retrieval-Verfahren oder Einschränkungen auf ausgewählte medizinische Quellen gearbeitet.
Das CE-gekennzeichnete System war jedoch nicht grundsätzlich besser als alle anderen Modelle.
Ein sogenanntes Reasoning-Modell, dessen Websuche gezielt auf neurologische Fachquellen der American Academy of Neurology und der Zeitschrift Neurology beschränkt worden war, erzielte sogar signifikant bessere Ergebnisse als Prof. Valmed.
Andere moderne Systeme mit Retrieval-Augmented Generation, Websuche oder sogenanntem Whitelisting ausgewählter Quellen erreichten ebenfalls vergleichbare Ergebnisse.
Damit zeigt unsere Untersuchung einen wichtigen Punkt: Eine regulatorische Zertifizierung ist nicht automatisch gleichbedeutend mit einer höheren Antwortgenauigkeit.
Warum geprüfte Quellen entscheidend sind
Bereits in unseren früheren Arbeiten hatten wir gezeigt, dass die Qualität medizinischer Antworten deutlich davon abhängt, auf welche Informationsquellen ein Sprachmodell zugreifen kann.
Besonders wirksam war dabei das sogenannte Whitelisting. Dabei darf die KI ihre Informationen nur aus zuvor definierten und vertrauenswürdigen Quellen beziehen – beispielsweise Fachgesellschaften oder wissenschaftlichen Leitlinien.
Auch Prof. Valmed verwendet nach Angaben des Herstellers eine kuratierte medizinische Datenbank mit Leitlinien, regulatorischen Dokumenten und wissenschaftlichen Publikationen.
Unsere Ergebnisse unterstützen daher erneut die Annahme, dass bei medizinischer KI nicht ausschließlich die Größe oder Komplexität des zugrunde liegenden Sprachmodells entscheidend ist. Mindestens ebenso wichtig ist, welche Quellen verwendet werden und wie zuverlässig sich Antworten auf diese Quellen zurückführen lassen.
Was bedeutet die CE-Kennzeichnung bei medizinischer KI?
Prof. Valmed ist als Medizinprodukt der Risikoklasse IIb zertifiziert. Eine solche CE-Kennzeichnung bedeutet, dass ein Produkt definierte regulatorische Anforderungen hinsichtlich unter anderem Sicherheit, Qualitätsmanagement, technischer Dokumentation und Überwachung erfüllt.
Unsere Studie zeigt jedoch, dass man daraus keine unmittelbare Aussage ableiten kann, dass ein solches System medizinische Fragen automatisch besser beantwortet als nicht zertifizierte KI-Systeme.
Genau diese Unterscheidung wird mit zunehmender Nutzung von KI in der Medizin wichtig:
Regulatorische Konformität und wissenschaftlich gemessene Leistungsfähigkeit sind zwei unterschiedliche Dimensionen.
Beides ist für den klinischen Einsatz relevant – aber das eine ersetzt nicht das andere.
Zertifizierung kann bei schnelllebiger KI auch zum Problem werden
Unsere Arbeit wirft gleichzeitig eine weitere Frage auf.
Sprachmodelle entwickeln sich derzeit extrem schnell. Neue Reasoning-Modelle, bessere Retrieval-Systeme und leistungsfähigere Architekturen erscheinen teilweise innerhalb weniger Monate.
Bei einem zertifizierten Medizinprodukt können grundlegende Änderungen am zugrunde liegenden System jedoch erneute regulatorische Prüfungen und dokumentierte Änderungsprozesse erforderlich machen.
Dadurch entsteht möglicherweise ein Spannungsfeld: Einerseits benötigen medizinische KI-Systeme klare regulatorische Standards. Andererseits dürfen diese Standards Innovation und notwendige Aktualisierungen nicht so stark verlangsamen, dass zertifizierte Systeme technologisch hinter nicht regulierten Modellen zurückbleiben.
Wie dieses Problem langfristig gelöst werden kann, wird eine der zentralen Fragen bei der Regulierung medizinischer KI sein.
Was nehmen wir aus der Studie mit?
Unsere Untersuchung zeigt zunächst, dass ein speziell für medizinische Informationssuche entwickeltes und CE-gekennzeichnetes LLM in der Neurologie eine insgesamt gute Antwortqualität erreichen kann.
Mit etwas mehr als 76 Prozent vollständig korrekten Antworten blieb allerdings auch ein erheblicher Anteil ungenauer oder falscher Antworten bestehen.
Gleichzeitig lagen einige moderne kommerzielle Systeme mit gezieltem Zugriff auf hochwertige neurologische Quellen auf einem vergleichbaren oder sogar höheren Niveau.
Die entscheidende Frage für die Zukunft lautet daher möglicherweise weniger: Ist ein KI-System zertifiziert?
Vielmehr müssen wir wissenschaftlich untersuchen:
Wie gut sind seine Antworten? Welche Quellen verwendet es? Kann man diese Quellen nachvollziehen? Wie gut funktioniert sein klinisches Reasoning? Wie schnell kann medizinisches Wissen aktualisiert werden? Und wie zuverlässig bleibt die Leistung nach Software- und Modellupdates?
Genau dafür brauchen wir unabhängige und reproduzierbare wissenschaftliche Evaluationen.
Denn wenn KI-Systeme zunehmend in medizinische Informations- und Entscheidungsprozesse einbezogen werden, sollte ihre Qualität nicht nur angenommen oder aufgrund regulatorischer Kennzeichnungen vorausgesetzt werden – sie sollte messbar und wissenschaftlich überprüfbar sein.