KI im öffentlichen Sektor: Chancen und Pflichten
Behörden auf allen Ebenen erkunden und setzen KI ein, um die Leistungserbringung zu verbessern, die Entscheidungsfindung zu stärken und die betriebliche Effizienz zu steigern. Von der föderalen KI-Strategie bis zu Initiativen zur digitalen Transformation auf Landes- und kommunaler Ebene nimmt der öffentliche Sektor KI in einer Vielzahl von Anwendungen an.
Häufige KI-Anwendungsfälle in Behörden umfassen die Automatisierung von Bürgerdiensten durch Chatbots und virtuelle Assistenten, die Betrugserkennung in Sozialleistungsprogrammen, die Dokumentenverarbeitung und -klassifizierung für FOIA-Anfragen, prädiktive Analysen für die Ressourcenzuweisung, die Erkennung von Cybersicherheitsbedrohungen, die Nachrichtendienstanalyse und Anwendungen für die nationale Sicherheit sowie die Überwachung der Einhaltung von Vorschriften.
Der KI-Einsatz in Behörden bringt jedoch einzigartige Pflichten mit sich. Öffentliche Stellen müssen Transparenz und Rechenschaftspflicht gegenüber den Bürgern wahren, klassifizierte und kontrollierte nicht klassifizierte Informationen (CUI) schützen, Beschaffungs- und Vergabevorschriften einhalten, eine gerechte Leistungserbringung für alle Bevölkerungsgruppen sicherstellen und bürgerliche Freiheiten sowie verfassungsmäßige Rechte wahren. Die Executive Order zu sicherer und vertrauenswürdiger KI (EO 14110) hat neue Anforderungen für Bundesbehörden festgelegt, einschließlich KI-Risikomanagement, Testanforderungen und Transparenzstandards.
Sicherheitsklassifizierung und KI
Behörden müssen die Schnittstelle zwischen KI-Tools und den Klassifizierungsstufen von Informationen sorgfältig verwalten.
Klassifizierte Informationen und KI: KI-Tools dürfen niemals mit klassifizierten Informationen verwendet werden, es sei denn, sie werden in entsprechend akkreditierten klassifizierten Umgebungen betrieben. Das bedeutet keine kommerziellen KI-Dienste für die Verarbeitung klassifizierter Daten, air-gapped KI-Umgebungen für klassifizierte Workloads, Anforderungen an sicherheitsüberprüftes Personal für klassifizierte KI-Operationen sowie SCIFs und sicherheitsüberprüfte Einrichtungen für klassifizierte KI-Gespräche.
Kontrollierte nicht klassifizierte Informationen (CUI): CUI stellen eine erhebliche Herausforderung für die KI-Einführung in Behörden dar. Viele Behörden möchten KI zur Verarbeitung von CUI nutzen, Vertragsdaten, personenbezogene Daten, sensible Strafverfolgungsdaten, müssen aber sicherstellen, dass KI-Tools die CUI-Schutzanforderungen nach NIST SP 800-171 erfüllen.
FedRAMP-Anforderungen: Cloudbasierte KI-Dienste, die von Bundesbehörden genutzt werden, müssen eine FedRAMP-Autorisierung erhalten. Dies erfordert eine strenge Sicherheitsbewertung, einschließlich über 300 Sicherheitskontrollen auf der Moderate-Baseline, eine kontinuierliche Überwachung und regelmäßige Neubewertung, Incident-Response-Fähigkeiten sowie ein Lieferketten-Risikomanagement.
Überlegungen zur Impact Level: KI-Dienste müssen auf der angemessenen Impact Level autorisiert werden. IL2 für öffentliche und nicht-CUI-Daten, IL4 für CUI, IL5 für CUI in DoD-Umgebungen und IL6 für klassifizierte Informationen bis Secret. Die meisten kommerziellen KI-Dienste erreichen derzeit maximal IL2 oder IL4, was ihre Anwendbarkeit für sensible behördliche Workloads einschränkt.
NIST AI Risk Management Framework
Das NIST AI Risk Management Framework (AI RMF) bietet ein freiwilliges Rahmenwerk zum Management von KI-Risiken, das sich zum De-facto-Standard für die KI-Governance in Behörden entwickelt.
Kernfunktionen: Das AI RMF gliedert das KI-Risikomanagement in vier Kernfunktionen. Govern (Steuern) etabliert und pflegt die organisatorischen Strukturen, Richtlinien und Prozesse für das KI-Risikomanagement. Map (Erfassen) identifiziert und katalogisiert KI-Systeme, ihre Kontexte und potenziellen Auswirkungen. Measure (Messen) bewertet und überwacht KI-Risiken mit quantitativen und qualitativen Methoden. Manage (Verwalten) implementiert Risikobehandlungsstrategien und Reaktionsmaßnahmen.
Umsetzung des AI RMF in Behörden: Behörden sollten die AI-RMF-Funktionen auf bestehende Risikomanagementprozesse abbilden. Integrieren Sie das KI-Risikomanagement in das Enterprise Risk Management (ERM) der Behörde, richten Sie KI-Kontrollen am NIST Cybersecurity Framework und SP 800-53 aus, nutzen Sie bestehende Autorisierungsprozesse (ATO) für die Bewertung von KI-Systemen und integrieren Sie das KI-Risiko in die FISMA-Berichterstattung der Behörde.
Merkmale vertrauenswürdiger KI: Das AI RMF identifiziert sieben Merkmale vertrauenswürdiger KI, die Behörden bewerten sollten. Dies sind Validität und Zuverlässigkeit, Sicherheit, Schutz und Resilienz, Rechenschaftspflicht und Transparenz, Erklärbarkeit und Interpretierbarkeit, Datenschutzverbesserung sowie Fairness mit gemanagter schädlicher Verzerrung.
KI-Governance für Bundesbehörden
Bundesbehörden unterliegen spezifischen Governance-Anforderungen für den KI-Einsatz.
Anforderungen an den Chief AI Officer: Die EO 14110 verlangt, dass Bundesbehörden Chief AI Officers benennen, die für die Koordinierung der KI-Nutzung in der Behörde, das Management von KI-Risiken, die Förderung von KI-Innovation, die Sicherstellung der Einhaltung von KI-Richtlinien und die Berichterstattung über KI-Nutzung und -Governance verantwortlich sind.
Inventar der KI-Anwendungsfälle: Bundesbehörden müssen Inventare ihrer KI-Anwendungsfälle führen und veröffentlichen. Dieses Inventar sollte den Zweck und die Funktion des KI-Systems, Dateneingaben und -ausgaben, Ergebnisse der Folgenabschätzung, Risikominderungsmaßnahmen und Mechanismen der menschlichen Aufsicht umfassen.
Rechtebeeinflussende KI: KI-Systeme, die individuelle Rechte beeinflussen, wie Entscheidungen über die Leistungsberechtigung, Strafverfolgungsentscheidungen oder die Einwanderungsbearbeitung, erfordern eine erhöhte Prüfung, einschließlich Folgenabschätzungen, die die Auswirkungen auf die bürgerlichen Freiheiten bewerten, einer Benachrichtigung der betroffenen Personen, dass KI eingesetzt wird, Einspruchsmechanismen für KI-gestützte Entscheidungen, regelmäßiger Prüfung auf Verzerrung und Genauigkeit sowie einer menschlichen Überprüfung folgenschwerer Entscheidungen.
Beschaffung und Vergabe: Die KI-Beschaffung von Behörden muss dem FAR und den behördenspezifischen Vergabevorschriften entsprechen. Nehmen Sie KI-spezifische Anforderungen in Verträge auf, die Dateneigentum und -verarbeitung, Modelltransparenz und -erklärbarkeit, Leistungsüberwachung und -berichterstattung, Anforderungen an Bias-Tests und Fairness sowie Sicherheits- und Datenschutzkontrollen betreffen.
KI in behördlichen Abläufen absichern
Praktische Sicherheitsmaßnahmen für den KI-Einsatz in Behörden über gängige Anwendungsfälle hinweg.
Bürgernahe KI-Dienste: Behörden-Chatbots und virtuelle Assistenten, die mit der Öffentlichkeit interagieren, müssen sich klar als KI-Systeme zu erkennen geben (kein täuschendes Design), die Barrierefreiheitsanforderungen der Section 508 erfüllen, personenbezogene Daten (PII) schützen, genaue Informationen auf der Grundlage maßgeblicher Quellen liefern, Wege zu menschlicher Unterstützung bieten und Protokolle zur Rechenschaftspflicht und zur FOIA-Compliance führen.
Interne KI-Tools: Behördenmitarbeitenden, die KI für das Verfassen von Dokumenten, Analysen oder Recherchen nutzen, sollten genehmigte KI-Tools bereitgestellt werden, die die Sicherheitsanforderungen erfüllen, klare Vorgaben dazu, welche Daten mit KI verwendet werden dürfen, Schulungen zu den Grenzen der KI und den Verifizierungsanforderungen sowie Meldemechanismen für KI-Fehler oder -Bedenken.
KI in der Strafverfolgung und nationalen Sicherheit: KI, die in den Kontexten der Strafverfolgung und nationalen Sicherheit eingesetzt wird, birgt ein außergewöhnliches Risiko und erfordert das höchste Maß an Governance. Gesichtserkennung und biometrische KI müssen den Datenschutzrichtlinien der Behörde entsprechen, Predictive-Policing-Tools müssen auf Verzerrung und Auswirkungen auf die bürgerlichen Freiheiten bewertet werden, KI zur Nachrichtendienstanalyse muss Quellen und Methoden schützen, und jede Strafverfolgungs-KI sollte eine menschliche Entscheidungsbefugnis beinhalten.
KI für Cybersicherheit: Behörden nutzen zunehmend KI für die Cyberabwehr. Diese Tools müssen in bestehende Sicherheitsabläufe integriert, anhand der Bedrohungsmodelle der Behörde validiert, auf adversariale Manipulation überwacht und mit den Anforderungen des CDM-Programms (Continuous Diagnostics and Mitigation) konform sein.
Überlegungen für Landes- und Kommunalbehörden
Landes- und Kommunalbehörden stehen vor einzigartigen KI-Sicherheitsherausforderungen, die sich von denen der Bundesbehörden unterscheiden.
Ressourcenbeschränkungen: Vielen Landes- und Kommunalbehörden fehlen spezielle KI-Sicherheitsexpertise und entsprechende Budgets. Beginnen Sie mit grundlegenden Schritten: Übernehmen Sie bestehende Rahmenwerke (NIST AI RMF, MS-ISAC-Leitlinien), nutzen Sie Shared Services auf Landesebene und Kooperationsvereinbarungen, beteiligen Sie sich über das MS-ISAC und die CISOs der Bundesstaaten am Informationsaustausch und priorisieren Sie hochriskante KI-Anwendungsfälle für die Aufmerksamkeit der Governance.
KI-Gesetzgebung der Bundesstaaten: Eine wachsende Zahl von Bundesstaaten erlässt KI-spezifische Gesetze. Colorado, Kalifornien, Illinois und andere haben Gesetze verabschiedet oder vorgeschlagen, die die KI-Nutzung in Behörden betreffen. Verfolgen Sie die einschlägige Gesetzgebung der Bundesstaaten, bewerten Sie die Compliance-Anforderungen, aktualisieren Sie Richtlinien, sobald neue Gesetze in Kraft treten, und stimmen Sie sich mit den Generalstaatsanwälten der Bundesstaaten zur KI-Compliance ab.
Behördenübergreifender Datenaustausch: Landes- und Kommunalbehörden tauschen häufig Daten über Zuständigkeitsgrenzen hinweg aus. KI-Tools, die gemeinsam genutzte Daten verarbeiten, müssen die Datennutzungsvereinbarungen aller Parteien einhalten, die Anforderungen an die Datensouveränität wahren, Zugriffskontrollen implementieren, die den zuständigkeitsübergreifenden Zugriff widerspiegeln, und die KI-Verarbeitung in Datenaustauschvereinbarungen dokumentieren.
Öffentliche Transparenz: Landes- und Kommunalbehörden unterliegen oft erhöhten Anforderungen an die öffentliche Transparenz. Veröffentlichen Sie KI-Nutzungsrichtlinien und -Inventare, geben Sie öffentliche Hinweise auf den KI-Einsatz in staatlichen Diensten, schaffen Sie Mechanismen für öffentliche Beiträge zu KI-Einsatzentscheidungen und berichten Sie über die Leistung und Ergebnisse von KI-Systemen.
Aufbau öffentlichen Vertrauens in behördliche KI
Die KI-Governance in Behörden dient letztlich dem Ziel, das Vertrauen der Öffentlichkeit zu wahren.
Transparenzmaßnahmen: Veröffentlichen Sie klare Richtlinien darüber, wie und wo die Behörde KI einsetzt, geben Sie verständliche Erklärungen zu KI-Systemen, die die Öffentlichkeit betreffen, stellen Sie KI-Folgenabschätzungen zur Überprüfung bereit, berichten Sie über Leistungskennzahlen und Fehlerquoten von KI-Systemen und arbeiten Sie mit Organisationen der Zivilgesellschaft zur KI-Governance zusammen.
Rechenschaftsmechanismen: Legen Sie klare Verantwortungslinien für KI-Entscheidungen fest, implementieren Sie Einspruchsverfahren für KI-gestützte Feststellungen, führen Sie regelmäßige Audits von KI-Systemen auf Verzerrung und Genauigkeit durch, führen Sie detaillierte Protokolle zur Aufsicht und Untersuchung und gewähren Sie dem Generalinspekteur Zugang zu KI-Systemen und -Daten.
Gerechtigkeit und Fairness: Behörden haben eine besondere Verpflichtung, eine gerechte Leistungserbringung sicherzustellen. Testen Sie KI-Systeme auf disparate Auswirkungen über demografische Gruppen hinweg, überwachen Sie Ergebnisse laufend auf Verzerrung, bieten Sie Bürgern alternative, nicht KI-gestützte Servicekanäle, stellen Sie die KI-Barrierefreiheit für Menschen mit Behinderungen sicher und beziehen Sie unterversorgte Gemeinschaften in KI-Einsatzentscheidungen ein.
Behörden, die eine transparente, rechenschaftspflichtige und gerechte KI-Governance priorisieren, bauen das öffentliche Vertrauen auf, das erforderlich ist, um das Potenzial der KI für verbesserte öffentliche Dienste zu verwirklichen.
