Glossar zur KI-Governance

Ein umfassendes Inventar aller Komponenten, Datenquellen, Modelle, Bibliotheken und Abhängigkeiten, aus denen ein KI-System besteht, das Transparenz und Sicherheit der Lieferkette ermöglicht.

Ein Forschungsgebiet, das sich auf das Verständnis und die Abwehr von Angriffen konzentriert, die KI-Systeme durch bösartige Eingaben, vergiftete Daten oder die Ausnutzung von Modellen manipulieren.

KI-Systeme, die autonom planen, mehrstufige Aufgaben ausführen und mit minimaler menschlicher Eingriffnahme in der Welt handeln.

AI usage coaching is a security control that responds to risky AI use with real-time guidance at the point of the prompt, explaining why an action triggered policy and steering the employee to a safer path instead of silently blocking them.

Die unbeabsichtigte Offenlegung sensibler, vertraulicher oder regulierter Daten durch Interaktionen mit KI-Tools und -Diensten.

Der Prozess der Kategorisierung von Daten nach ihrem Sensibilitätsgrad, um angemessene Regeln für Handhabung, Schutz und KI-Nutzung festzulegen.

Sicherheitstechnologien und -prozesse, die die unbefugte Übertragung sensibler Daten erkennen und verhindern, auch über KI-Tools und -Dienste.

Der Grundsatz, dass Daten den Gesetzen des Rechtsraums unterliegen, in dem sie erhoben, gespeichert oder verarbeitet werden, sowie die damit verbundene Erwartung, dass eine Organisation steuert, welche Rechtsräume darauf zugreifen können.

Ein mathematisches Rahmenwerk, das messbare Datenschutzgarantien bietet, indem es kontrolliertes Rauschen zu Daten oder Berechnungen hinzufügt und so die Identifizierung von Einzelpersonen in Datensätzen verhindert.

Ein Angriff auf KI-Systeme, bei dem Angreifer Trainingsdaten gezielt verfälschen, um das Modellverhalten zu manipulieren, Hintertüren einzuschleusen oder die Leistung zu verschlechtern.

Das weltweit erste umfassende Rechtsrahmenwerk für künstliche Intelligenz, das 2024 vom Europäischen Parlament verabschiedet wurde und risikobasierte Pflichten für jede Organisation festlegt, die KI-Systeme auf dem EU-Markt in Verkehr bringt.

KI-Systeme und -Techniken, die darauf ausgelegt sind, Entscheidungen der künstlichen Intelligenz für Menschen verständlich und interpretierbar zu machen und so Vertrauen und Rechenschaftspflicht zu ermöglichen.

Ein Machine-Learning-Ansatz, bei dem Modelle über mehrere dezentrale Geräte oder Server hinweg trainiert werden, ohne Rohdaten zu teilen, wodurch der Datenschutz gewahrt bleibt.

KI-Systeme, die in der Lage sind, neue Inhalte zu erstellen, sei es Text, Bilder, Code, Audio oder Video, auf Grundlage von Mustern, die aus Trainingsdaten gelernt wurden.

Der internationale Standard für KI-Managementsysteme, der Organisationen einen Rahmen bietet, um KI verantwortungsvoll über ihren gesamten Lebenszyklus hinweg zu steuern.

Eine Technik, um die Sicherheits-Guardrails eines KI-Modells zu umgehen, indem Prompts gestaltet werden, die das Modell dazu bringen, seine Einschränkungen zu ignorieren und unzulässige Inhalte zu erzeugen.

Das Rahmenwerk aus Richtlinien, Prozessen und Kontrollen, das die verantwortungsvolle Entwicklung, Bereitstellung und Nutzung von KI-Systemen innerhalb einer Organisation steuert.

Der systematische Prozess der Identifizierung, Bewertung, Minderung und Überwachung von Risiken, die mit der Entwicklung, dem Einsatz und der Nutzung von KI-Systemen verbunden sind.

Die Grundsätze und Werte, die die verantwortungsvolle Entwicklung, den Einsatz und die Nutzung von KI-Systemen leiten, um Fairness, Transparenz, Rechenschaftspflicht und menschliches Wohlergehen zu gewährleisten.

Systematische Fehler in KI-Systemen, die zu unfairen Ergebnissen führen und in der Regel historische Vorurteile in den Trainingsdaten oder ein fehlerhaftes algorithmisches Design widerspiegeln.

Der Grundsatz, dass KI-Systeme nachvollziehbar sein sollten und ihre Entscheidungsprozesse, Datennutzung und Grenzen den Beteiligten klar kommuniziert werden.

Die Praxis, KI-Systeme, -Modelle und -Daten über den gesamten KI-Lebenszyklus hinweg vor Bedrohungen, Schwachstellen und Angriffen zu schützen.

Eine strukturierte adversariale Testpraxis, bei der Sicherheitsexperten Angriffe gegen KI-Systeme simulieren, um Schwachstellen, Verzerrungen und Fehlermodi vor der Bereitstellung aufzudecken.

Wenn ein KI-Modell eine Ausgabe erzeugt, die sachlich falsch, erfunden oder unsinnig ist und mit derselben Überzeugung präsentiert wird wie zutreffende Informationen.

Die Praxis, sicherzustellen, dass die KI-Systeme und deren Nutzung in einer Organisation den geltenden Gesetzen, Vorschriften, Branchenstandards und internen Richtlinien entsprechen.

Die Fähigkeit, das Verhalten, die Leistung und die Nutzung von KI-Systemen in einer gesamten Organisation in Echtzeit zu überwachen, zu messen und zu verstehen.

Die Richtlinien und Mechanismen, die festlegen, welche Benutzer, Rollen und Systeme auf KI-Tools und die von ihnen verarbeiteten Daten zugreifen, sie nutzen oder verwalten können.

Eine chronologische Aufzeichnung aller KI-bezogenen Aktivitäten, Entscheidungen und Datenflüsse innerhalb einer Organisation, die zu Zwecken der Compliance, Sicherheit und Rechenschaftspflicht geführt wird.

Der Schutz personenbezogener und sensibler Daten über den gesamten Lebenszyklus von KI-Systemen hinweg, von der Erhebung der Trainingsdaten bis zur Inferenz und Ausgabeerzeugung.

Der Prozess der Identifizierung und Katalogisierung aller KI-Tools, -Dienste und -Modelle, die in einer Organisation genutzt werden, einschließlich nicht autorisierter oder unbekannter Nutzung.

Der strukturierte Prozess zur Erkennung, Untersuchung, Eindämmung und Wiederherstellung bei Sicherheitsvorfällen, die KI-Systeme oder KI-bezogene Datenschutzverletzungen betreffen.

Ein KI-gestützter Assistent, der in Softwareanwendungen eingebettet ist und Nutzern hilft, Aufgaben zu erledigen, indem er Vorschläge macht, Arbeitsabläufe automatisiert und Inhalte generiert.

Ein standardisiertes Dokument, das wesentliche Informationen über ein KI-Modell bereitstellt, darunter den vorgesehenen Verwendungszweck, die Leistungsmerkmale, die Grenzen und ethische Erwägungen.

Die Anforderung, dass von KI-Systemen verarbeitete Daten innerhalb bestimmter geografischer oder rechtlicher Grenzen verbleiben, um Gesetzen zur Datensouveränität zu entsprechen.

Die grundlegende Texteinheit, die KI-Sprachmodelle verarbeiten und die in der Regel ein Wort, ein Teilwort oder ein Zeichen darstellt und zur Messung der Ein-/Ausgabelänge und der Preisgestaltung dient.

Ein strukturierter Prozess zur Identifizierung, Kategorisierung und Priorisierung potenzieller Sicherheitsbedrohungen, die spezifisch für KI-Systeme und ihre Einsatzumgebungen sind.

Die Praxis, reale Angriffe gegen KI-Systeme zu simulieren, um ausnutzbare Schwachstellen in Modellen, APIs und Datenpipelines zu identifizieren.

Der Prozess der Überwachung von KI-Modellen auf Veränderungen in Datenmustern, Modellleistung oder Ausgabequalität im Zeitverlauf, die die Genauigkeit beeinträchtigen oder neue Risiken einführen können.

Die Praxis, KI-Tools und -Experimente in kontrollierten Umgebungen zu isolieren, um ihr Verhalten, ihre Sicherheit und ihre Compliance vor einer breiteren Bereitstellung in der Organisation zu testen.

Ein funktionsübergreifendes Governance-Gremium, das für die Aufsicht über die ethische Entwicklung, Bereitstellung und Nutzung von KI-Systemen innerhalb einer Organisation verantwortlich ist.

Die fortlaufende, automatisierte Überwachung von KI-Systemen, um Leistungsabfall, Sicherheitsbedrohungen, Richtlinienverstöße und Compliance-Probleme in Echtzeit zu erkennen.

Das unbefugte Extrahieren, Replizieren oder Stehlen proprietärer KI-Modelle durch API-Abfragen, Insider-Zugriff oder Reverse-Engineering-Techniken.

Ein autonomes, KI-gestütztes Softwareprogramm, das seine Umgebung wahrnimmt, Entscheidungen trifft und Handlungen ausführt, um bestimmte Ziele mit unterschiedlichem Grad menschlicher Aufsicht zu erreichen.

Eine Art KI-Modell, das auf umfangreichen Textdatensätzen trainiert wird und menschenähnlichen Text verstehen und generieren kann, wodurch es Werkzeuge wie ChatGPT, Claude und Gemini antreibt.

Sicherheitsbeschränkungen, Filter und Kontrollen, die um große Sprachmodelle herum implementiert werden, um schädliche, ungenaue oder richtlinienwidrige Ausgaben zu verhindern.

Die Gesamtheit der Richtlinien, Prozesse und Kontrollen zur Steuerung des Lebenszyklus von KI- und Machine-Learning-Modellen, von der Entwicklung über die Bereitstellung bis zur Außerbetriebnahme.

Techniken zum Einbetten verborgener, identifizierbarer Markierungen in KI-Modelle oder deren Ausgaben, um Eigentum nachzuweisen, unbefugte Nutzung zu erkennen oder die Herkunft von Inhalten zurückzuverfolgen.

Das NIST AI Risk Management Framework ist ein freiwilliges Rahmenwerk, das vom US National Institute of Standards and Technology veröffentlicht wurde, um Organisationen dabei zu helfen, Risiken im Zusammenhang mit KI-Systemen zu identifizieren, zu bewerten und zu steuern.

Eine Angriffstechnik, bei der schädliche Anweisungen in KI-Prompts eingeschleust werden, um das Verhalten des Modells zu manipulieren, Sicherheitskontrollen zu umgehen oder sensible Informationen zu extrahieren.

Eine formelle Unternehmensrichtlinie, die die Regeln, Leitlinien und Grenzen für die Nutzung von KI-Tools und -Diensten durch Mitarbeitende festlegt.

Eine KI-Architektur, die die Ausgaben von Sprachmodellen verbessert, indem sie relevante Informationen aus externen Wissensquellen abruft und einbindet, bevor sie Antworten generiert.

Die Nutzung von KI-Tools und -Diensten durch Mitarbeitende ohne Wissen, Genehmigung oder Aufsicht der IT- und Sicherheitsteams.

Die Nutzung von IT-Systemen, Software und Diensten innerhalb einer Organisation ohne ausdrückliche Genehmigung der IT-Abteilung.

Die Praxis, Sicherheitsrisiken über die gesamte Kette von Komponenten, Diensten und Anbietern hinweg zu identifizieren, zu bewerten und zu mindern, aus denen das KI-Ökosystem einer Organisation besteht.

Die Nutzung von KI auf eine Weise, die die Daten und eine wirksame Kontrolle darüber unter der rechtlichen und operativen Hoheit eines gewählten Landes oder einer gewählten Organisation hält.

Ein Ansatz für die Entwicklung und Bereitstellung von KI, der ethische Grundsätze, gesellschaftlichen Nutzen und Risikominderung über den gesamten KI-Lebenszyklus hinweg in den Vordergrund stellt.

Die Anwendung von Zero-Trust-Sicherheitsprinzipien auf KI-Systeme, die eine kontinuierliche Überprüfung jedes Benutzers, Geräts und Datenflusses erfordert, der mit KI-Tools interagiert.