#main-nav-header { display:none; }

Sichere KI-Implementierung für staatliche und kommunale Behörden

Die Veröffentlichung von ChatGPT markiert den Beginn einer neuen Ära der künstlichen Intelligenz (KI) und demokratisiert den Zugang zu leistungsstarken Tools sowohl für technische als auch für nicht-technische Nutzende. KI ist heute dabei, zahlreiche Aspekte unseres Lebens zu revolutionieren: von der Art und Weise, wie wir lernen und arbeiten, bis hin dazu, wie wir Kunst schaffen und Krankheiten behandeln.

Im öffentlichen Sektor setzen staatlichen und kommunale Behörden KI-Tools bereitwillig ein. Eine kürzlich durchgeführte Umfrage unter leitenden Fachleuten von staatlichen, kommunalen und bundesstaatlichen Behörden ergab, dass 51 % mehrmals pro Woche eine KI-Anwendung nutzen.

Bei staatlichen und kommunalen Behörden erforschen Teams verschiedene KI-Anwendungsfälle. Sie automatisieren formularbasierte Prozesse, um die Produktivität ihrer Mitarbeitenden zu steigern; Implementierung von generativen KI-gestützten (GenAI)-gestützten Chatbots zur Verbesserung digitaler Erfahrungen; Verbesserung der Betrugserkennung; und mehr.

Es besteht kein Zweifel, dass KI die Macht hat, die Abläufe von Behörden und die Bereitstellung von Dienstleistungen für die Bürger zu verändern. Diese leistungsstarke Technologie birgt aber auch neue Risiken. Die Bewältigung dieser Risiken erfordert eine umfassende Strategie, die mit dem zunehmenden Einsatz von KI durch eine Behörde einhergeht. Neben dem Gewinn eines Einblicks in die anfängliche KI-Nutzung und der Festlegung grundlegender Schutzmaßnahmen muss jede Behörde dann die Integration von KI-Funktionen in bestehende Systeme absichern und fortschrittliche, KI-basierte Verteidigungsmaßnahmen einsetzen, um gegen immer raffiniertere Bedrohungen vorzugehen.

Drei Hauptanliegen für staatliche und kommunale Behörden

Während die Anwendungsfälle immer klarer werden, erkennen die Führungskräfte auf staatlicher und regionaler Ebene das enorme Potenzial der KI. Gleichzeitig sind viele der Führungskräfte, mit denen ich über KI spreche, nach wie vor skeptisch, was den derzeitigen Reifegrad der KI angeht. Vor allem CIOs haben mir ihre Bedenken zu drei wichtigen Themen mitgeteilt:

Genauigkeit: CIOs stellen die Zuverlässigkeit und Genauigkeit des KI-generierten Outputs in Frage – und das sollten sie auch. Diese Ergebnisse können sowohl durch unbeabsichtigte Fehler als auch durch absichtliche, böswillige Täuschungsversuche verzerrt werden.

Wenn das KI-Modell einer Regierungsbehörde von Angreifern manipuliert wird, könnte diese Behörde versehentlich KI-generierte Fehlinformationen an die Bürger verbreiten. Stellen Sie sich vor, der Chatbot der Regierung einer Landesregierung liefert falsche Informationen über Arbeitslosengeld oder Gesundheitsdienste.

Ebenso möchten CIOs vermeiden, Entscheidungen auf der Grundlage unzuverlässiger Informationen zu treffen. Wird KI beispielsweise zur Aufdeckung von Betrug in staatlichen Programmen eingesetzt, könnten KI-Fehler dazu führen, dass legitime Anträge unnötig überprüft werden oder betrügerische Aktivitäten unentdeckt bleiben.
Datenschutz: CIOs haben berechtigte Bedenken, dass sensible Informationen von Bürgern preisgegeben werden könnten, insbesondere wenn Mitarbeitende unbeabsichtigt Daten oder Dateien von Bürgern in Systeme eingeben, die Daten zum Trainieren von KI-Modellen sammeln. Die Verwendung eines KI-Tools zur Analyse der Gesundheitsdaten von Bürgern, um einen Bericht zu erstellen, könnte dem KI-Modell beispielsweise ermöglichen, sensible Informationen zu erheben und diese Daten dann in anderen Zusammenhängen offenzulegen.
Sicherheit: CIOs sorgen sich berechtigterweise um die vielfältigen Möglichkeiten, wie Daten und Modelle kompromittiert werden könnten, je intensiver ihre Behörden KI einsetzen. Angreifer könnten etwa die Prompts von KI-basierten Chatbots für Bürger manipulieren, um die Modelle dazu zu bringen, Fehlinformationen zu erzeugen oder sich Zugang zu Backend-Systemen zu verschaffen. Sie benötigen Wege, um einer ganzen Reihe von Bedrohungen für ihr KI-Ökosystem zu begegnen, um nicht nur die Daten der Bürger, sondern auch die Systeme der Behörden zu schützen.

Trotz dieser Bedenken fehlt der überwiegenden Mehrheit der Organisationen des öffentlichen Sektors ein solider Plan, um den Auswirkungen des Einsatzes von KI zu begegnen. Und dennoch haben einige bereits KI-Lösungen eingeführt – und sich damit dem Risiko von sicherheitsrelevanten Vorfällen und der Verbreitung von Fehlinformationen ausgesetzt, die mediale Aufmerksamkeit erzeugen.

Die notwendigen Schritte definieren

Viele staatliche und kommunale Behörden haben ihre KI-Einführung bereits mit Pilotprogrammen oder dem begrenzten Einsatz von KI-Tools begonnen. Selbst in Unternehmen, die KI nicht aktiv einsetzen, können einzelne Mitarbeitende oder Teams leicht verfügbare KI-Tools nutzen – ein Phänomen, das als „Schatten-KI“ bekannt ist. Unabhängig davon, ob ihr Einsatz offiziell genehmigt wurde, ist KI in den meisten Behörden vorhanden, weshalb die Entwicklung und Implementierung einer KI-Sicherheitsstrategie entscheidend ist.

Diese Strategie sollte Facetten haben, die jeder Phase der KI-Umstellung entsprechen. Bei meiner Arbeit mit Organisationen des öffentlichen Sektors habe ich beobachtet, wie diese drei Schlüsselphasen der KI-Nutzung durchlaufen:

Nutzung: Zunächst konsumieren die Behörden KI. Sie experimentieren mit Modellen, Anwendungen und Werkzeugen, einschließlich GenAI-Diensten. Diese Phase beinhaltet oft sowohl die Verwendung genehmigter als auch der Schatten-KI.
Integration: Die Behörden beginnen dann, KI in ihre bestehenden Daten und Systeme zu integrieren. Diese Integration beginnt, den wahren Mehrwert von KI zu erschließen – sei es zur Steigerung der Produktivität oder zur Verbesserung digitaler Nutzererlebnisse.
Fortgeschrittene Abwehr: Behörden implementieren häufig in den ersten beiden Phasen ihrer Attacken einige Sicherheitsfunktionen. Aber während sie die Einführung von KI vorantreiben, müssen sie ihr Sicherheitsniveau erhöhen. Zur Abwehr gegen immer raffiniertere, KI-gestützte Bedrohungen müssen die Behörden fortschrittliche Sicherheitsfunktionen und KI-Tools implementieren.

Unternehmen sollten eine Strategie entwickeln, die auf alle Phasen des KI-Einsatzes abgestimmt ist. Die Implementierung grundlegender Schutzmaßnahmen für Daten in der Phase der KI-Nutzung ist der erste Schritt.

Grundlegenden KI-Schutz etablieren

Die Basis konzentriert sich darauf, einen umfassenden Überblick über die KI-Nutzung im gesamten Unternehmen zu schaffen und gleichzeitig einen robusten Schulungs- und Richtlinienrahmen zu entwickeln. Eine wichtige Komponente dabei ist die Bekämpfung von Cyberbedrohungen im Zusammenhang mit der Datenerfassung durch Large Language Models (LLMs). LLMs nehmen kontinuierlich Daten auf, um ihre Modelle zu verbessern, und die Behörden müssen zwei primären Datenbeschaffungsvektoren besondere Aufmerksamkeit schenken.

Web-Scraping: Viele LLMs sammeln und verarbeiten automatisch Informationen von öffentlichen Websites. Kommerzielle Unternehmen sind möglicherweise stärker von Web-Scraping betroffen als Organisationen des öffentlichen Sektors, da das geistige Eigentum eines Unternehmens zum Trainieren von Modellen verwendet werden könnte. Dennoch müssen sich die staatlichen Behörden darüber im Klaren sein, dass alles, was sie auf ihren Websites veröffentlichen, als Daten für KI-Modelle erfasst werden kann.
Interaktionen mit KI-Tools: Wenn Mitarbeitende KI-Tools wie GenAI-Dienste nutzen, könnten sie durch ihre Prompts und Abfragen versehentlich sensible Informationen preisgeben. Selbst scheinbar harmlose Handlungen, wie z. B. die Aufforderung an ein KI-Tool, einen Datensatz zu analysieren oder eine Visualisierung zu erstellen, können versehentlich sensible Daten an externe LLM-Systeme übertragen.

Der Umgang mit diesen Risiken erfordert einen grundlegenden Schutz. Die Behörden sollten klare KI-Nutzungsrichtlinien, robuste Datenschutzkontrollen und gründliche Sicherheitsmaßnahmen zum Schutz der Daten von Bürgern festlegen. Bei der Basisstrategie sollte sich die Strategie insbesondere auf Folgendes konzentrieren:

Sichtbarkeit und Bewusstsein: Die Behörden müssen sehen, welche LLMs und KI-Tools verwendet werden und von wem. Sie sollten auch festlegen, welchen KI-Bots sie ihre Websites durchsuchen dürfen, und Bot-Management-Tools einsetzen, um gute von schädlichen Bots zu unterscheiden.
Aufklärung und Richtlinien: Ihre Mitarbeitenden müssen unbedingt darüber aufgeklärt werden, wie KI-Tools funktionieren und wie sich die Preisgabe sensibler Daten vermeiden lässt. Sie sollten beispielsweise lernen, wie sie die Eingabe sensibler Daten in den Prompts eines GenAI-Tools vermeiden können. Die Behörden sollten auch Richtlinien einführen, die die Wahrscheinlichkeit von Sicherheits- und Datenschutzproblemen verringern, die durch potenzielle Fehltritte von Mitarbeitenden verursacht werden. Und da sich die KI-Landschaft dynamisch entwickelt, müssen die Behörden ihre Informationen ständig aktualisieren und ihre Richtlinien anpassen.
Datenschutz und Schutz vor Datenverlust (DLP): Zusätzlich zur Festlegung von Richtlinien für die KI-Nutzung müssen die Behörden DLP-Tools implementieren, die verhindern, dass persönlich identifizierbare Informationen (PII) und andere sensible Daten von Bürgern durch die Nutzung von KI durchsickern.
Zero Trust: Die Implementierung eines Zero Trust-Netzwerkzugangs Lösung kann helfen, Schatten-KI zu kontrollieren und gleichzeitig sicherzustellen, dass Nutzende nur auf geprüfte und zugelassene KI-Tools zugreifen.

KI-Integration schützen

In der nächsten Phase der KI-Entwicklung beginnen Unternehmen damit, KI-Tools und -Modelle in ihre bestehenden Systeme und Prozesse zu integrieren. Staatliche und kommunale Behörden können KI-Tools mit Systemen zur Formularverarbeitung verknüpfen oder KI-basierte Chatbots in Bürgerportale einbinden.

Der Integrationsprozess kann mit technischen Herausforderungen verbunden sein. So könnten die bestehenden Daten eines Unternehmens für die Verwendung mit KI-Tools nicht richtig aufbereitet und strukturiert sein. Einstweilen kann die Integration Sicherheitsrisiken mit sich bringen, da viele KI-Tools außerhalb der direkten Kontrolle des Unternehmens arbeiten.

Um diese Herausforderungen zu bewältigen, müssen Sie sich auf einige wenige kritische Bereiche konzentrieren, darunter Datenaufbereitung und Datenschutz.

Datenaufbereitung: Um Daten für KI-Tools aufzubereiten, müssen Teams Daten kennzeichnen und klassifizieren. Dieser Prozess trägt auch zum Schutz dieser Daten bei, da die Teams Sicherheitskontrollen auf der Grundlage von Klassifizierungen implementieren können.
Datenschutz: Behörden müssen ein Datenschutzframework sowie eine Reihe von Sicherheitsfunktionen implementieren, um Daten zu schützen, während sie zwischen internen Systemen und externen KI-Diensten übertragen werden. Zusätzlich zu den DLP-Funktionen benötigen Behörden Einblick in und Kontrolle über die APIs, die zur Verbindung mit externen KI-Diensten verwendet werden. Es bedarf auch Funktionen für die Analyse und Überwachung des Netzwerks. Und sie brauchen Tools wie einen Cloud Access Security Broker (CASB) und ein Secure Web Gateway (SWG), die dabei helfen können, den KI-Traffic zu kontrollieren.

Fortschrittliche Schutzmaßnahmen implementieren

KI kann nicht nur die Produktivität von Mitarbeitenden steigern und den Bürgern neue digitale Erfahrungen bieten, sondern auch die Cybersicherheit erhöhen. Mithilfe fortschrittlicher Algorithmen und maschinellem Lernen (ML) kann KI Sicherheitsteams dabei helfen, neue Bedrohungen zu erkennen, Sicherheitslücken zu verwalten und automatisch auf Vorfälle zu reagieren. Die Automatisierung traditionell manueller Aufgaben erhöht nicht nur die Effizienz, sondern reduziert auch menschliche Fehler bei kritischen Sicherheitsvorgängen.

Natürlich machen sich Angreifer auch für die Verbesserung ihrer böswilligen Aktivitäten KI zunutze. Sie nutzen KI, um ausgefeiltere Phishing-Kampagnen zu erstellen, die Aufklärung zu verbessern und fortschrittliche Schadsoftware zu entwickeln. In der Zwischenzeit haben sie Schwachstellen in GenAI-Systemen ins Visier genommen.

Um diesen sich entwickelnden Bedrohungen zu begegnen, müssen die Behörden einen proaktiven Sicherheitsansatz verfolgen. Sie sollten nicht nur die Verteidigungsfähigkeiten der KI nutzen, sondern auch KI-spezifische Schwachstellen und Angriffsvektoren mit ein paar Best Practices berücksichtigen:

Sichere KI-Modelle auswählen: Da Behörden ihre Systeme immer mehr mit KI-Diensten verknüpfen, müssen sie sicherstellen, dass KI-Modelle und Modellanbieter ihren Qualitäts- und Sicherheitsstandards entsprechen. Die Führung einer „Zulassungsliste“ genehmigter Modelle und KI-Anwendungen kann das Risiko verringern, dass schlecht gesicherte Systeme Sicherheitslücken in ihren Umgebungen schaffen.
KI-gesteuerte Sicherheitstools implementieren: Sicherheitstools, die ML oder KI verwenden, können fortschrittliche Bedrohungsdaten liefern und den Behörden helfen, Bedrohungen viel früher zu erkennen als herkömmliche Tools. Gleichzeitig können KI- und ML-Tools Schwachstellen in IT-Umgebungen erkennen, sodass die Behörden ihre Verteidigungsmaßnahmen im Vorfeld von Zwischenfällen stärken können.
Kontinuierliche Überwachung einsetzen: IT-Teams müssen sicherstellen, dass KI-Apps und -Umgebungen nicht kompromittiert wurden. Die kontinuierliche Überwachung auf ungewöhnliches Verhalten ist entscheidend, um frühzeitig Signale für böswillige Aktionen zu erhalten.

Sicher in die Zukunft – mit transformativer KI

Die Integration von KI in Organisationen des öffentlichen Sektors birgt sowohl große Chancen als auch Herausforderungen in puncto Sicherheit. Erfolg erfordert einen strukturierten Sicherheitsansatz, der sich mit dem verstärkten Einsatz von KI durch Unternehmen weiterentwickelt. Unternehmen müssen mit grundlegenden Sicherheitskontrollen beginnen und ihr Sicherheitsniveau schrittweise verbessern, wenn ihre KI-Fähigkeiten und Integrationen ausgereift sind. Dazu gehören die Aufrechterhaltung eines starken Fokus auf Datenschutz und -verwaltung, die Implementierung kontinuierlicher Überwachungs- und Bewertungsprozesse sowie Investitionen in die kontinuierliche Aufklärung und Weiterentwicklung von Richtlinien.

Die Connectivity Cloud von Cloudflare ermöglicht es staatlichen und kommunalen Behörden, ein umfassendes Sicherheitskonzept für KI mit intelligenten, Cloud-nativen Services in einer einheitlichen Plattform zu implementieren. Cloudflare für den öffentlichen Sektor bündelt wichtige Sicherheits-, Netzwerk- und Anwendungsentwicklungsdienste, die die strengen FedRAMP-Standards erfüllen. Mit Cloudflare kann Ihre Behörde Ihre KI-Umstellung weiter vorantreiben und gleichzeitig die Kontrolle über sensible Daten behalten.

Dieser Beitrag ist Teil einer Serie zu den neuesten Trends und Themen, die für Entscheidungsträger aus der Tech-Branche heute von Bedeutung sind.

Vertiefung des Themas:

Erfahren Sie im Leitfaden „Sicherer Umgang mit KI: Ein Leitfaden zur Entwicklung einer skalierbaren KI-Strategie für CISO“ mehr darüber, wie Sie die Integration von KI in Ihrem Unternehmen unterstützen können, ohne sensible Daten zu gefährden.

Autor

Dan Kent — @danielkent1
Field CTO for Public Sector, Cloudflare

Wichtigste Eckpunkte

Folgende Informationen werden in diesem Artikel vermittelt:

Die drei größten Anliegen von CIOs im öffentlichen Sektor im Zusammenhang mit KI
Die typische dreistufige KI-Einführung für staatliche und lokale Behörden
Wichtige Schritte zur Absicherung von KI-Implementierungen

Erhalten Sie eine monatliche Zusammenfassung der beliebtesten Internet-Insights!

theNET abonnieren