Autorin/Workshopleiterin: Manuela Schuler (Deutsches Forschungszentrum für Künstliche Intelligenz)
Titel: Erklärbarkeit und Sicherheit von KI in der Medizin
Ob Laborwerte, Vitalparameter oder radiologische Bilder: KI-Modelle erkennen in medizinischen Daten zunehmend Muster, die dem menschlichen Blick verborgen bleiben. Zugleich übernehmen KI-Agenten in vielen Lebensbereichen auf Basis großer Sprachmodelle immer mehr eigenständige Aufgaben. Sie recherchieren, fassen Texte zusammen, schreiben E-Mails oder greifen auf externe Systeme zu. Damit stellen sich zwei zentrale Fragen:
Können wir nachvollziehen, wie eine KI zu ihrer Entscheidung kommt?
Und können wir sicher sein, dass sie dabei nicht manipuliert wird?
Und können wir sicher sein, dass sie dabei nicht manipuliert wird?
Der erste Teil des Workshops widmet sich der Erklärbarkeit von KI (Explainable AI, XAI). Anhand von Beispielen aus tabellarischen Daten und der medizinischen Bildverarbeitung wird gezeigt, wie Verfahren wie LIME, SHAP oder Sensitivitätsanalysen sichtbar machen, welche Merkmale oder Bildregionen eine Vorhersage beeinflussen. Dabei wird auch deutlich, was diese Methoden leisten können und wo ihre Grenzen liegen.
Im zweiten Teil rückt die Sicherheit von Sprachmodellen und KI-Agenten in den Fokus. Grundlage sind Angriffsmuster auf Sprachmodelle, wie Sie z.B. vom Bundesamt für Sicherheit in der Informationstechnik (BSI) 2025 beschrieben sind. Mit einem interaktiven Werkzeug werden solche Angriffe live auf lokal betriebene Sprachmodelle angewendet, und es wird unmittelbar sichtbar, ob ein Modell sich täuschen lässt. Dazu gehören etwa versteckte Anweisungen, manipulierte Anfragen, die Sicherheitsvorgaben umgehen, oder eingeschleuste Inhalte aus externen Quellen. Beispiele zeigen, was geschehen kann, wenn Agenten Zugriff auf Bankkonten, Passwörter, E-Mail-Postfächer oder Patientendaten erhalten und ein Angriff unbemerkt bleibt. Anschließend geht es darum, wie sich Agenten verlässlicher gestalten lassen, zum Beispiel durch klar begrenzte Berechtigungen, menschliche Kontrollschritte und die gezielte Einbindung von fundiertem Hintergrundwissen wie medizinischen Leitlinien.
Im abschließenden Teil sind die Teilnehmenden eingeladen, gemeinsam zu diskutieren:
– Welche Form von Erklärbarkeit ist im klinischen Alltag wirklich hilfreich, und in welcher Darstellung (Text, Diagramme, visuelle Hervorhebungen)?
– Welche Risiken entstehen, wenn KI-Systeme mit sensiblen Daten und externen Systemen verbunden werden?
– Wie kann verlässliches Fachwissen wie Leitlinien dazu beitragen, dass KI-Ergebnisse besser, nachvollziehbarer und sicherer werden?
Ziel des Workshops ist ein gemeinsames Verständnis dafür, was vertrauenswürdige KI in der Medizin ausmacht: Sie ist nicht nur leistungsfähig, sondern auch transparent in ihren Entscheidungen und robust gegenüber Manipulation. Nur so kann sie ein verlässlicher Partner im klinischen Alltag werden.