KI in der Pharma – Regulatorische Anforderungen und Compliance

Künstliche Intelligenz (KI) ist längst kein Zukunftsszenario mehr, sondern fester Bestandteil vieler Unternehmen. Doch mit der zunehmenden Verbreitung von KI-Systemen steigen auch die regulatorischen Anforderungen. Wie können Unternehmen sicherstellen, dass sie diese Anforderungen erfüllen und KI verantwortungsvoll einsetzen? Dieser und weiteren Fragen haben wir uns im Webinar am 18.09.2025 gewidmet und nochmal für Sie zusammengefasst.

KI-Kompetenzen als Pflicht: Das A und O für verantwortungsvollen KI-Einsatz
KI-Kompetenzen sind heutzutage unerlässlich. Alle Mitarbeiter, die im Betrieb Zugang zu KI-Systemen haben oder diese nutzen, müssen die korrekte Anwendung verstehen und nachvollziehen können. Ein gewisses technisches Verständnis ist dabei ebenso wichtig wie die Kenntnis der rechtlichen Aspekte. Es geht darum, KI nicht blind zu vertrauen, sondern die Ergebnisse kritisch zu hinterfragen und potenzielle Risiken zu erkennen.

Die Schulung der Mitarbeiter ist dabei ein zentraler Punkt. Sie müssen in die Lage versetzt werden, die Funktionsweise von KI-Systemen zu verstehen, ihre Grenzen zu erkennen und mögliche Fehlerquellen zu identifizieren. Nur so kann sichergestellt werden, dass KI verantwortungsvoll und im Einklang mit den geltenden Vorschriften eingesetzt wird.

Regulatorische Anforderungen und ethische Dimensionen: Ein Überblick
Im Modul 2 werden die regulatorischen Anforderungen und ethischen Dimensionen behandelt. Dazu gehören Aspekte wie Verzerrung (Bias) und die Vermeidung gefährlicher Inhalte. Es ist wichtig, dass KI-Systeme keine diskriminierenden oder irreführenden Ergebnisse generieren und die Nutzer nicht gefährden. Die EU-Verordnung sowie EMA und WHO betonen die Wichtigkeit von Datenqualität und Ethik.

Unternehmen sollten interne Rahmenbedingungen und Richtlinien für den Umgang mit KI festlegen. Dazu gehört die Definition zulässiger Datenquellen und die Interaktion mit personenbezogenen Daten. Auch das Thema Cyber Security spielt eine wichtige Rolle. Es muss sichergestellt werden, dass die genutzten Systeme nicht von außen gehackt und beeinflusst werden können.

Datenqualität und Ethik: Der Treibstoff für jede KI
Daten sind der Treibstoff für jede KI. Ohne hochwertige und ethisch einwandfreie Daten können KI-Systeme keine zuverlässigen Ergebnisse liefern. Die Datenqualität und Ethik sind daher von entscheidender Bedeutung.

Ein Unternehmen sollte immer Rahmenbedingungen und Richtlinien intern vorweisen, wie die KI zu handhaben ist. Es sollte festlegen, welche Datenquellen zulässig sind und welche nicht. Auch der Umgang mit personenbezogenen Daten muss klar geregelt sein. Bias, also die Verzerrung, ist ein wichtiges Thema. Es muss sichergestellt werden, dass die Daten repräsentativ sind und keine diskriminierenden Ergebnisse generieren.

Cyber Security: Schutz vor Hackerangriffen
Die IT-Sicherheit ist ein zunehmend wichtiges Thema in der digitalen Welt. Unternehmen müssen sicherstellen, dass ihre Systeme vor Hackerangriffen geschützt sind. Denn wenn KI-Systeme von außen beeinflusst werden, können die Ergebnisse manipuliert werden und Schaden anrichten.

Die Sicherheitsmaßnahmen müssen daher gut greifen, um eine Beeinflussung von außen zu verhindern. Dies ist besonders wichtig, wenn KI-Systeme in kritischen Bereichen eingesetzt werden.

Praktische Umsetzung: Ein KI-Register als Beispiel
Wie kann man die regulatorischen Anforderungen und ethischen Grundsätze in der Praxis umsetzen? Ein Beispiel ist die Einführung eines KI-Registers. Ähnlich einer Geräteinventarliste sollten Unternehmen ein KI-Inventar aufstellen.

Anhand von Beispielen wie KI-Systemen für QC, Bildanalyse, sollte das Vorgehen immer risikobasiert sein. Welchen GXP-Einfluss hat das System, wie ist der Validierungsstatus und wann ist der nächste Review fällig? Diese Fragen sollten für alle KI-Systeme beantwortet werden, beispielsweise für generative KI in der Dokumentation, Pharmakovigilanz oder Signaldetektion.

Ein solches KI-Register schafft Transparenz, dokumentiert den Umgang mit KI und ermöglicht jederzeit eine Vorlage im Auditfall. Es ist ein wichtiger Schritt, um KI verantwortungsvoll und im Einklang mit den geltenden Vorschriften einzusetzen.

SOPs: Unverzichtbar für den sicheren KI-Einsatz
Standardarbeitsanweisungen (SOPs) sind ein wichtiges Instrument, um den sicheren Einsatz von KI-Systemen zu gewährleisten. Auch wenn SOPs manchmal als nervig empfunden werden, sind sie unverzichtbar, um klare Regeln und Verantwortlichkeiten festzulegen.

Es gibt viele Bereiche, in denen SOPs für KI-Systeme erforderlich sind. Beispiele sind die KI-Entwicklung und Validierung, der Einsatz von generativer KI in der Dokumentation oder das Änderungsmanagement bei KI-Modellen. Auch für KI-Vorfallsmeldungen, die innerhalb von 15 Tagen gemäß EU-Verordnung erfolgen müssen, sind SOPs unerlässlich.

Selbst wenn ein Unternehmen keine hochriskanten KI-Systeme einsetzt und es wahrscheinlich nie zu einer Vorfallsmeldung kommen wird, müssen die entsprechenden SOPs vorhanden sein. Denn im Falle eines Audits müssen Unternehmen nachweisen können, dass sie sich mit dem Thema auseinandergesetzt haben und die notwendigen Maßnahmen getroffen haben.

Checklisten: Hilfreiche Unterstützung für SOPs
Checklisten können eine wertvolle Ergänzung zu SOPs sein. Sie helfen dabei, die Einhaltung der SOPs zu überprüfen und sicherzustellen, dass alle relevanten Punkte berücksichtigt werden.

Je nach Bereich (GXP, KI-Validierung) können Checklisten mit den entsprechenden Merkmalen erstellt werden. Sie können auch spezifische Punkte für Hochrisiko-KI-Systeme oder generative KI enthalten. Auch wenn sich jedes Unternehmen in seinem Bereich besser auskennt, können Checklisten eine hilfreiche Unterstützung sein, um den Überblick zu behalten und keine wichtigen Aspekte zu vergessen.

Implementierungsfahrplan: Schritt für Schritt zum erfolgreichen KI-Einsatz
Die Umsetzung der regulatorischen Anforderungen und ethischen Grundsätze ist ein Prozess, der Zeit und Ressourcen erfordert. Ein Implementierungsfahrplan kann Unternehmen dabei helfen, den Überblick zu behalten und die notwendigen Schritte systematisch anzugehen.

• KI-Inventarliste: Eine umfassende Liste aller im Unternehmen eingesetzten KI-Systeme.
• KI-Policy: Eine interne Richtlinie, die den Umgang mit KI regelt.
• Initialschulungen: Schulungen für Mitarbeiter, die mit KI-Systemen arbeiten.
• KI-Verantwortlicher: Eine Person, die für die Koordination der KI-Aktivitäten verantwortlich ist.

Im zweiten Schritt sollten die QMS-Prozesse angepasst und SOPs erstellt werden. Dies sollte jedoch erst erfolgen, wenn klar ist, welche Systeme im Einsatz sind und wofür die SOPs benötigt werden.

Besonders bei der Verwendung von Sprachmodellen ist es wichtig, den Mitarbeitern und im Falle einer Inspektion klar darzulegen, was genutzt wird, wofür und wo die Grenzen liegen. Es muss klar sein, bis wohin man gehen darf und wo nicht. Auch die Frage, ob ein System unter Hochrisiko-KI fällt oder nicht, muss beantwortet werden. Denn in diesem Fall müssen strengere Anforderungen erfüllt werden.

Das Ziel ist es, dass Unternehmen im Falle eines Audits sicher sind. Durch den Entwurf von Annex 22 wird das Thema bei den Behörden immer mehr ankommen.

Die Rolle der Geschäftsführung und der IT-Abteilung
Die Geschäftsführung spielt eine entscheidende Rolle bei der erfolgreichen Implementierung von KI-Systemen. Sie muss die notwendigen Ressourcen bereitstellen und die Zusammenarbeit verschiedener Abteilungen unterstützen. Auch der Betriebsrat sollte involviert werden.

Die IT-Abteilung ist ebenfalls essentiell. Sie ist für die Technik und die Computerprogramme verantwortlich und sollte die Fachexperten gut unterstützen. Die Zusammenarbeit, die KI-Kompetenz muss dokumentiert und vorgezeigt werden können.

Pragmatischer Ansatz: Risikobasierte Bewertung
Der Status quo in den Unternehmen ist sehr unterschiedlich. Einige Unternehmen setzen KI bereits seit Jahren ein und müssen diese nun Annex 11- und 22-konform validieren. Andere stehen noch am Anfang und testen noch oder befinden sich in der Mittelstufe.

Viele Unternehmen geben ihren Mitarbeitern eigene KI-Systeme, egal wo sie diese eingekauft haben (z.B. Copilot oder externe, lokal gehostete Systeme), damit sie sich damit üben und den Umgang erlernen. Dies soll auch verhindern, dass die Mitarbeiter externe Modelle nutzen, bei denen die Daten nach außen gelangen.

Ein pragmatischer Ansatz ist wichtig. Wenn generative KI beispielsweise nur genutzt wird, um E-Mails besser zu formulieren oder Termine bzw. Protokolle, die nicht GMP-kritisch sind, nachzujustieren, ist das Risiko nicht hoch. Aber auch diese Anwendungen sollten anhand von SOPs klar beschrieben werden, damit im Falle einer Kontrolle durch die Behörde klar dargelegt werden kann, was genutzt wird.

Was kann passieren? Mögliche Risiken und Herausforderungen
Es ist wichtig, die potenziellen Risiken und Herausforderungen beim Einsatz von KI-Systemen zu kennen. DeepL ist ein Beispiel: Viele Unternehmen nutzen es als Übersetzungstool, ohne zu wissen, dass es sich um KI handelt. Auch dieses System sollte in die KI-Inventarliste aufgenommen und dokumentiert werden. Es muss klar sein, was mit dem Tool erlaubt ist und was nicht, wer es nutzen darf und wer nicht.

Einige Unternehmen wollen keine KI, weil die Mitarbeiter selber denken und sich nicht auf KI verlassen sollen. Das ist ein Risiko. Wenn man sich nicht gut genug auskennt, verlässt man sich vielleicht zu schnell auf die Ergebnisse, ohne diese zu prüfen. Das wäre gefährlich. Aber jeder in seinem Fachbereich, der sich auskennt und KI als Unterstützungstool nimmt, wird schnell sehen, ob die Ergebnisse okay sind oder nicht.

Es gibt aber Möglichkeiten, die generative KI so zu implementieren, dass sie nur auf Firmeninhalte zugreift und nicht in dem großen Universum des probabilistischen Algorithmus arbeitet und nach Wahrscheinlichkeiten dann Fehlinformationen gibt. Dies kann gesteuert werden.

GPAI (General Purpose AI) ist nicht komplett ausgeschlossen, sondern nur für die kritischen GXP-Bereiche. Es muss also unterschieden werden, was GMP- bzw. GXP-kritisch ist und was nicht und wofür die Tools genutzt werden. Auch Change Verfahren dürfen nicht übersehen werden.

Ausblick: Was können wir erwarten?
Es wird noch viel passieren. Die EU-Kommission arbeitet an weiteren Leitlinien. Es werden auch Beispiele kommen, auch Richtung Lieferantenqualifizierung. Wenn KI-Systeme eingekauft werden, können Fragebögen erstellt werden, um mit den Lieferanten zusammenzuarbeiten und die Pflichten im hochregulierten Bereich abzudecken.

Ähnlich wie bei anderen Lieferanten müssen auch KI-Lieferanten auditiert bzw. qualifiziert werden. Die Zusammenarbeit ist essentiell.

Transparenz und Dokumentation: Das A und O
Transparenz und eine ordnungsgemäße Dokumentation sind das A und O. Im Falle einer Inspektion muss alles transparent dargelegt werden können.

Es sollte eine KI-Inventarliste erstellt, die Systeme risikobasiert bewertet und mit SOPs beschrieben werden. Es muss klar sein, wer welches System wie zu nutzen hat und wo die Grenzen liegen.

Weiterführende Quellen
EU AI Act 2024/1689
EU-GMP Annex 22 Entwurf (07/2025)
GAMP 5 2nd Edition & AI Guide (2025)
Annex 22 (Entwurf)
GAM 5 (zweite Edition)