Mit der Veröffentlichung der Verordnung (EU) 2024/1689 („EU AI Act“) wurden in der Europäischen Union seit dem Sommer 2024 international beachtete Regularien zur künstlichen Intelligenz geschaffen, die faktisch alle Stakeholder betreffen, die Berührungspunkte mit Produkten haben, die auf künstlicher Intelligenz beruhen oder diese verwenden. Auch Gesundheitsprodukte sind in hohem Ausmaß von den Regelungen des EU AI Acts betroffen, denn künstliche Intelligenz findet zunehmend auf die eine oder andere Art Eingang in praktisch alle Phasen des Lebenszyklus dieser Produkte.
Die DGPharMed hatte daher zwischen April und Juni 2025 zu einer fünfteiligen Seminarreihe eingeladen, die den EU AI Act näher beleuchtete und dabei auch regulatorische, mathematisch-statistische, internationale und ethische Aspekte der künstlichen Intelligenz darstellte. Die Webinare waren sehr gut besucht und führten stets zu einer regen Diskussion im Anschluss an die Vorträge.
Folker Spitzenberger betrachtete detailliert die Umsetzung der Europäischen KI-Verordnung (EU AI Act), wobei insbesondere die Chancen und Herausforderungen künstlicher Intelligenz (KI) aus regulatorischer Sicht hervorgehoben wurden. Der EU AI Act wurde einschließlich seines Hintergrunds, des Geltungsbereichs und der Risikokategorisierung im Überblick erläutert. Ein wesentlicher Aspekt betrifft die Anforderungen an die Konformitätsbewertung und die Schnittstellen zu vertikalen Vorschriften wie der EU MDR/IVDR, um eine reibungslose Implementierung zu gewährleisten. Möglichkeiten und Herausforderungen des EU AI Acts, wie etwa das Fördern des Vertrauens in KI-Lösungen bei gleichzeitiger Vermeidung übermäßig strenger Anforderungen, wurden diskutiert.
Friedhelm Leverkus begab sich „in den Maschinenraum der KI“. KI und Data Science, welche auf Mathematik, Statistik, Informatik und Ingenieurwesen fußen, umfassen sowohl neuronale als auch klassische statistische Verfahren wie Regression und Clusteranalyse. Machine Learning (ML), insbesondere das Supervised Learning, fokussiert sich primär auf die Vorhersage des Outcomes und die Schätzung individueller Wahrscheinlichkeiten, wobei das Modell oft nicht explizit spezifiziert wird und die Parameterschätzung als Black Box gelten kann. Statistiker tragen wesentlich zur Entw icklung von ML-Methoden (z.B. Random Forest, Support Vector Machines) bei und sind unerlässlich für die methodische Weiterentwicklung, die Validierung (durch Testdatensätze) sowie die Unterscheidung von Assoziation und Kausalität. Herausforderungen sind das permanente Problem des Overfittings, der Verzicht auf Interpretierbarkeit bei hoher Komplexität neuronaler Netze und die Notwendigkeit, Gütekriterien wie ROC und AUC zur Vermeidung falsch positiver Ergebnisse zu nutzen. Obwohl KI große Chancen in der Gesundheitsversorgung eröffnet, etwa bei der Frühdiagnose und der personalisierten Medizin, ist nach Meinung von Friedhelm Leverkus eine adäquate Regulierung wichtig, da KI klassische statistische Probleme nicht beheben kann und die konfirmatorische Statistik der Phase III Studien nicht ersetzen wird.
Frank Thieme fokussierte auf Formen der KI, die auf ML und neuronalen Netzen basieren. Diese simulieren menschliche Intelligenz, wobei Großmodelle wie GPT-4, Llama und Mistral auf umfangreichen Textdaten trainiert werden, um menschenähnliche Texte und neue Inhalte zu generieren. Diese Technologie bietet im biomedizinischen Bereich große Chancen, indem sie Prozesse in klinischen Studien (z. B. bei der Datenerfassung, dem Dokumenten-Review und der Radiologie) optimiert, was zu schnellerer Entwicklung, Kostenersparnis und personalisierter Medizin führen kann. Allerdings fehlt KI-Systemen die reale Intelligenz, da sie weder Selbstreflexion, kritisches Denken noch Bewusstsein besitzen, sondern primär auf Reproduktion und Musterfindung beschränkt sind, was oft zu Intransparenz führt. Hauptprobleme betreffen laut Dr. Thieme die Systemsicherheit (Safety), wie Halluzinationen und Bias (Verzerrungen, die durch Datenqualität oder algorithmische Fehler entstehen), sowie die Datensicherheit (Security), da dynamische, sprachgesteuerte Systeme anfällig für Angriffe wie Jailbreak Attacks und Prompt Injection sind. Angesichts dieser Herausforderungen ist die Verifikation und Validierung der Modelle sowie eine adäquate Regulierung – beispielsweise durch die EU KI-Verordnung – unerlässlich, wobei oft der Human-in-the-Loop-Ansatz gefordert wird.
Jeanne-Marie Schwarz beleuchtete die globale KI-Regulierung, dieunterschiedliche Ansätze (z.B. hard law vs. soft law, horizontal vs. vertikal) umfasst mit dem Ziel, Produktsicherheit, Verbraucherschutz, die Verhinderung von Bias und die Bekämpfung von Deepfakes zu gewährleisten. Die EU etabliert mit dem KI-Gesetz (AI Act) einen risikobasierten, horizontalen Ansatz, der als globaler Maßstab gelten und extraterritoriale Wirkung entfalten kann, während andere Länder wie China einen iterativen Fokus auf soziale Stabilität legen und die USA primär einzelstaatliche Gesetze erlassen. Um die Haftung in komplexen KI-Systemen zu klären – bedingt durch Intransparenz (Opacity) und die Beteiligung vieler Akteure – aktualisiert die EU ihre Haftungsregeln (ex post Regulierung). Die überarbeitete EU-Produkthaftungsrichtlinie (PLD) definiert Software explizit als „Produkt“ und legt eine verschuldensunabhängige Haftung (strict liability) für fehlerhafte KI-gestützte Produkte fest. Organisationen müssen sich durch die Einführung von „Responsible AI“ vorbereiten, was die Einhaltung ethischer Grundsätze und die Gewährleistung sicherer Systeme bedeutet, wofür sie funktionsübergreifende Teams etablieren, KI-Systeme inventarisieren, Risikoanalysen durchführen und die KI-Kompetenz (AI Literacy) ihrer Mitarbeiter sicherstellen müssen.
Detlef Nehrdich konzentrierte sich in seinem Webinar auf Faktoren, die eine erfolgreiche Einführung von KI, insbesondere im Kontext von Pharmazeutischer Medizin und Klinischer Entwicklung, ermöglichen. Ein zentrales Thema ist das Change Management, welches als entscheidend für die Akzeptanz und den effektiven Einsatz von KI durch die Mitarbeitenden gilt, einschließlich der Bewältigung innerer Widerstände und der Notwendigkeit einer klaren Kommunikationsstrategie. Schließlich wurden hilfreiche Aspekte im Hinblick auf die Kompetenz des Prompt Engineering sowie kritische Aspekte der Datensicherheit und des Datenschutzes im Zusammenhang mit internationalen Gesetzen wie dem US-amerikanischen CLOUD Act diskutiert.
Hinweis: Diese Zusammenfassung der Vorträge wurde in Teilen durch KI-basierte Werkzeuge verfasst und anschließend sowohl inhaltlich als auch redaktionell auf Richtigkeit überprüft.
