Inhaltsverzeichnis

Einordnung: Warum KI-Governance hier über Erfolg und Stillstand entscheidet

KI-Governance klingt für viele nach Richtlinien und Gremien. In sicherheitskritischen Branchen geht es jedoch vor allem darum, KI im Alltag steuerbar zu machen. Gemeint sind: Klare Zuständigkeiten, nachvollziehbare Freigaben, wirksame Kontrollen und ein Betrieb, der auch bei Änderungen und Vorfällen funktioniert.

In Automotive, kritischer Infrastruktur oder der Rüstungsindustrie reicht es nicht, eine KI-Funktion zu demonstrieren. Entscheidend ist, ob klar ist, wer sie freigibt, wer sie überwacht, wie Änderungen gesteuert werden und wie sich Risiken nachweisbar beherrschen lassen. Genau diese Punkte sind der Kern von KI-Governance.

Der EU AI Act setzt für Hochrisiko Systeme konkrete Anforderungen an Governance, Risikomanagement und Überwachung (Quelle: https://eur-lex.europa.eu/legal-content/en/TXT/?uri=CELEX:32024R1689).

Der Beitrag ordnet typische Branchenkontexte ein und beschreibt fünf Leitplanken, die Verantwortung, Risiko und Betrieb zusammenbringen. Der Fokus liegt auf Organisation und Zusammenarbeit, damit Management und Fachbereiche gemeinsam handlungsfähig werden.

Warum KI-Governance in sicherheitskritischen Branchen anders ist

Der Unterschied: Risiko ist nicht nur Qualität, sondern Verantwortung

In vielen KI-Projekten dreht sich die Diskussion zuerst um Modellgüte. In sicherheitskritischen Kontexten verschiebt sich der Schwerpunkt. Folgende Fragen stehen im Vordergrund:

  • Welche Entscheidung hängt an der KI-Funktion?
  • Welche Folgen hätte ein Fehler oder Ausfall?
  • Wer trägt Verantwortung im Betrieb und bei Änderungen?

KI-Governance setzt dort an. Sie macht Entscheidungen überprüfbar, Zuständigkeiten klar und Risiken steuerbar, ohne die Entwicklung unnötig zu bremsen.

Typische Reibungspunkte: Engineering, Security, Compliance

In der Praxis entstehen Verzögerungen selten aus mangelnder Motivation, sondern aus unklaren Erwartungen:

  • Engineering-Abteilungen wollen schnell liefern, aber Freigaben sind nicht definiert.
  • Security erwartet Kontrollen, aber es gibt keine festen Abläufe.
  • Compliance verlangt Nachweise, aber niemand weiß, wer sie erstellt.

Das NIST AI Risk Management Framework hilft, diese Themen in konkrete Verantwortlichkeiten, Kontrollen und Messpunkte zu übersetzen (Quelle: Artificial Intelligence Risk Management Framework (AI RMF 1.0)).

Governance ist auch ein HR-Thema: Rollen, Skills, Verantwortlichkeiten

Sobald KI-Funktionen produktiv sind, entstehen neue Aufgaben, auch wenn keine neuen Jobtitel eingeführt werden: Freigabe, Monitoring, Änderungssteuerung, Dokumentation, Risikoprüfung. Wenn diese Aufgaben nicht zugeordnet sind, landen sie zwischen Rollen oder bei Einzelpersonen.

Für HR ist deshalb wichtig: KI-Governance ist auch Rollenarchitektur. Sie entscheidet mit darüber, ob Stellenprofile klar genug sind, ob Verantwortlichkeit in der Organisation verankert ist und ob Skillaufbau planbar wird.

Branchenkontexte und typische KI-Anwendungen

Rüstungsindustrie: Entscheidungsunterstützung mit klaren Grenzen

In der Rüstungsindustrie stehen häufig Anwendungen im Fokus, die aus großen Datenmengen Muster ableiten, Signale bewerten oder Lagebilder unterstützen. Zentral ist dabei weniger die Frage, ob KI etwas erkennt, sondern:

  • Was darf die KI liefern und wie wird das Ergebnis genutzt?
  • Wo endet die Unterstützung und wo beginnt die Entscheidung?
  • Wie werden Betrieb und Änderungen kontrolliert?

Automotive: Governance als Teil des Zulassungsdenkens

Im Automotive Umfeld sind Cybersecurity und Managementsysteme längst Teil der Zulassungslogik. UNECE R155 zeigt beispielhaft, dass ein Cybersecurity Management System gefordert ist (Quelle: https://unece.org/sites/default/files/2023-02/R155e%20%282%29.pdf).

KI-Governance muss hier an bestehende Prozesse anschließen. Freigaben, Updates, Nachweise und Verantwortlichkeiten dürfen nicht parallel organisiert sein.

Kritische Infrastruktur: Verfügbarkeit, stabile Prozesse, klare Eskalation

In kritischer Infrastruktur stehen Stabilität und Verfügbarkeit im Vordergrund. KI wird etwa genutzt für Störungserkennung, Priorisierung von Vorfällen oder Betriebsoptimierung.

NIS2 erhöht die Anforderungen an Organisationen, die als kritische oder wichtige Einrichtungen gelten (Quelle: https://eur-lex.europa.eu/eli/dir/2022/2555/oj/eng). Das BSI bietet eine DACH nahe Einordnung, wer betroffen ist und welche Pflichten typischerweise relevant werden (Quelle: https://www.bsi.bund.de/DE/Themen/Regulierte-Wirtschaft/NIS-2-regulierte-Unternehmen/nis-2-regulierte-unternehmen_node.html).

Fünf Leitplanken für KI-Governance

Leitplanke 1: Kritikalität festlegen und Governance Tiefe ableiten

Der Einstieg ist eine einfache Einstufung: Wie kritisch ist die KI-Funktion für Sicherheit, Verfügbarkeit oder Compliance? Pragmatische Fragen sind:

  • Unterstützt die KI nur oder steuert sie automatisiert?
  • Welche Folgen hätte ein Fehler im Betrieb?
  • Welche Daten werden verarbeitet und wie sensibel sind sie?

Die Einstufung muss nicht perfekt sein. Wichtig ist, dass daraus ein Mindeststandard für Freigabe, Betrieb und Nachweise entsteht.

Risikostufe Typische Use Cases (Beispiele) Mindest Governance  Typische Rollen
Niedrig Interne Auswertungen, Reporting, Vorschläge ohne automatische Wirkung Verantwortlicher benannt, Basis Monitoring, einfache Dokumentation, Review alle 3 Monate  Fachverantwortung, Technik
Mittel Assistenzfunktionen, Priorisierung, teilautomatisierte Entscheidungen mit Kontrolle Dokumentierte Freigabe, definierte Kontrollen, Monitoring mit Schwellenwerten, Review monatlich Fachverantwortung, Technik, Security/Compliance
Hoch Sicherheitsrelevante Entscheidungen, kritische Betriebsprozesse, Hochrisiko Anwendungen Formaler Nachweisprozess, enges Monitoring, Auditspur, Change Prozess, Incident Eskalation Fachverantwortung, Technik, Security, Compliance, Freigabeinstanz

Leitplanke 2: Rollen, Entscheidungen und Eskalation eindeutig definieren

Governance scheitert selten an der Absicht, sondern an unklaren Entscheidungen. Deshalb braucht es eine klare Rollenlogik:

Thema Fachverantwortung Technik (Engineering/IT) Security/Compliance
Use Case Zweck und Grenzen Entscheidet Berät Prüft Anforderungen
Freigabe vor Go Live Mitentscheidet Bereitet vor Gibt Freigabe nach Prüfung
Betrieb und Monitoring  Verantwortet Wirkung Verantwortet Betrieb Prüft Meldungen und Nachweise
Updates und Änderungen Entscheidet Bedarf  Setzt um Prüft Risiko und Konformität
Incident und Eskalation Entscheidet Maßnahmen Analysiert technisch Steuert Prüfung und Dokumentation

Die Tabelle ist bewusst als RACI light gehalten und kann je nach Organisation um Rollen wie QA oder Betriebsverantwortung ergänzt werden.

Zur Einordnung typischer Rollen im Zusammenspiel kann der Hub „4 entscheidende Rollen für wirksame AI-Teams im Unternehmen“ genutzt werden.

Leitplanke 3: Risiko, Kontrollen und Nachweise als Kontrollkette aufbauen

Statt ein „Risiko Dokument“ hilft eine einfache Kette: Risiko, Kontrolle, Nachweis, Verantwortlicher.

Die ISO/IEC 23894 bietet dafür einen strukturierten Rahmen, um KI-Risikomanagement prüfbar aufzubauen (Quelle: https://www.iso.org/standard/77304.html).

Mindestbestandteile pro Use Case:

  • Risiken benannt und priorisiert
  • Kontrollen definiert, die Risiken reduzieren
  • Nachweise festgelegt, die Kontrollen belegen
  • Verantwortliche benannt, die Nachweise erstellen und prüfen

Leitplanke 4: Betrieb und Änderungen als Standardprozess definieren

Viele Probleme entstehen nicht bei der ersten Freigabe, sondern später: Daten verändern sich, Anforderungen ändern sich, Updates werden nötig.

Governance braucht deshalb verbindliche Antworten auf:

  • Was wird im Betrieb überwacht?
  • Wann wird ein Update ausgelöst?
  • Wer entscheidet über Rollout oder Rückfall?
  • Wie wird bei Auffälligkeiten eskaliert?

Eine verständliche Orientierung zum sicheren Einsatz von KI liefert das BSI (Quelle: Künstliche Intelligenz sicher nutzen).

Leitplanke 5: Dokumentation so gestalten, dass sie nutzbar bleibt

In sicherheitskritischen Branchen geht es nicht um Dokumentation um der Dokumentation willen, sondern um Nachvollziehbarkeit:

  • Welche Version war im Einsatz?
  • Welche Daten und Konfigurationen wurden genutzt?
  • Wer hat freigegeben?
  • Welche Kennzahlen wurden überwacht?
  • Welche Änderungen gab es?

Eine solche Auditspur muss nicht überformalisiert sein. Sie muss im Ernstfall schnell Auskunft geben.

Praxisrahmen für die Umsetzung in der Organisation

Ein schlanker Start: Von Use Cases zu Mindeststandards

Ein praktikabler Einstieg ist, die wichtigsten Use Cases zu sammeln und je Use Case die Mindeststandards festzulegen. Dazu gehören:

  • Kritikalitätsstufe
  • Rollen und Entscheidungsrechte
  • Risiko und Kontrollen
  • Monitoring und Update Regeln
  • Dokumentation, die im Zweifel Bestand hat

So entsteht Governance nicht als Parallelwelt, sondern direkt entlang realer Vorhaben.

Anschluss an bestehende Governance: Das Rad nicht neu erfinden

In vielen Unternehmen existieren bereits funktionierende Strukturen, etwa Informationssicherheitsmanagement oder Qualitätsmanagement. KI-Governance sollte daran anschließen, statt eigene Inseln zu bauen oder Wissenssilos zu vergrößern.

Das IT Grundschutz Kompendium kann helfen, KI-Themen in bestehende Sicherheitskontrollen einzuordnen (Quelle: IT_Grundschutz_Kompendium_Edition2023.pdf).

Worauf HR achten kann: Rollenprofile und Verantwortlichkeiten

HR kann unterstützen, indem Rollenprofile nicht nur nach Skills beschrieben werden, sondern nach Verantwortung im Lebenszyklus.

Eine Leitfrage lautet: Wer trägt Verantwortung für Freigabe, Betrieb, Änderungen und Nachweise?

So werden Profile greifbar, Schnittstellen klarer und Übergaben im Alltag einfacher.

Skillaufbau: Wie Engpassrollen und KI-Kompetenzen planbar entstehen

KI-Governance steht und fällt mit den Menschen, die sie ausfüllen. In sicherheitskritischen Branchen braucht es oft Profile, die Technik, Betrieb und Verantwortung verbinden. Häufig sind das Kombinationen aus:

  • Systems Engineering Kompetenz, um Systemgrenzen, Schnittstellen und Nachweise zu strukturieren
  • KI nahen Rollen wie AI Engineer, Data Scientist, Machine Learning Engineer oder MLOps
  • Security und Compliance Kompetenz, um Kontrollen und Nachweise prüfbar zu machen

Engpässe entstehen oft dort, wo diese Welten zusammenlaufen. Ein Unternehmen kann zum Beispiel gute Data Scientists haben, aber niemanden, der KI-Funktionen sauber in Systeme integriert und den Betrieb mit Security und Compliance zusammenbringt.

Strukturierte Entwicklungswege helfen, diese Lücke zu schließen. Spezifische, gemeinsam mit dem Kunden entwickelte Traineeprogramme können Profile so aufbauen, dass sie nicht nur Technik lernen, sondern auch Governance Anforderungen im Alltag anwenden, inklusive Dokumentation, Freigabe und Monitoring in der jeweiligen Branche.

Für KI in komplexen technischen Systemen ist ergänzend der Beitrag „KI im Systems Engineering: 5 Prinzipien für komplexe technische Systeme“ relevant.

Wenn es um konkrete Zielrollen und deren Aufbau geht, kann der Beitrag „Zielrolle AI Engineer: Recruiting plus Training für KI-Fachkräfte“ als Referenz genutzt werden.

Abschluss: KI-Governance macht KI steuerbar

KI-Governance ist in sicherheitskritischen Branchen kein Zusatz, sondern Voraussetzung. Die fünf Leitplanken zeigen einen pragmatischen Weg: Kritikalität klären, Rollen und Entscheidungen definieren, Risiko und Kontrollen als Kontrollkette aufbauen, Betrieb und Änderungen standardisieren und eine nutzbare Auditspur sichern.

So wird KI im Alltag kontrollierbar, ohne dass jedes Vorhaben in Grundsatzdiskussionen stecken bleibt. Gleichzeitig wird klar, welche Rollen und Kompetenzen im Unternehmen fehlen und wie sich diese planbar entwickeln lassen.

Ein Termin über das Kontaktformular kann ein passender Rahmen sein, um Use Cases, Kritikalität und den Aufbau von Rollen und Kompetenzen gemeinsam zu strukturieren.

FAQ zu KI-Governance in sicherheitskritischen Branchen

Was bedeutet KI-Governance in sicherheitskritischen Branchen konkret?

KI-Governance sind Regeln, Zuständigkeiten und Kontrollen, mit denen KI-Funktionen freigegeben, überwacht, geändert und nachvollziehbar dokumentiert werden.

Wie lässt sich Governance pragmatisch starten?

Mit einer Einordnung der wichtigsten Use Cases nach Risikostufen und einer Rollenlogik für Freigabe, Betrieb, Updates und Eskalation.

Welche Rollen sind für KI-Governance besonders wichtig?

Fachverantwortung für den Use Case, technische Verantwortung für Integration und Betrieb, Security und Compliance für Kontrollen und Nachweise sowie klare Freigabe und Eskalationsrollen.