Implementación segura de la IA para los gobiernos estatales y locales
El lanzamiento de ChatGPT marcó el comienzo de una nueva era para la inteligencia artificial (IA), ya que democratizó el acceso a herramientas potentes tanto para usuarios técnicos como no técnicos. Hoy en día, la IA está a punto de revolucionar numerosos aspectos de nuestras vidas, desde cómo aprendemos y trabajamos hasta cómo creamos arte y curamos enfermedades.
En el sector público, los organismos gubernamentales estatales y locales están adoptando herramientas de IA con bastante rapidez. Una encuesta reciente a profesionales sénior de organismos estatales, locales y federales mostró que el 51 % utiliza una aplicación de IA varias veces a la semana.
Los equipos de los organismos estatales y locales están analizando varios casos de uso de la IA. Por ejemplo, están automatizando los procesos basados en formularios para aumentar la productividad de los empleados, están implementando chatbots asistidos por IA generativa para mejorar las experiencias digitales, están mejorando la detección del fraude, y mucho más.
No hay duda de que la IA tiene el poder de transformar las operaciones gubernamentales y la prestación de servicios a los ciudadanos. Pero esta potente tecnología también plantea nuevos riesgos. Abordar esos riesgos requiere una estrategia integral que avance junto con el uso cada vez mayor de la IA por parte de los organismos. Más allá de obtener visibilidad sobre el uso inicial de la IA y establecer protecciones de referencia, cada organismo debe salvaguardar la integración de las capacidades de IA del organismo con los sistemas existentes e implementar defensas avanzadas basadas en la IA para combatir las amenazas cada vez más sofisticadas.
Tres preocupaciones clave para los gobiernos estatales y locales
A medida que los casos de uso se vuelven más claros, los ejecutivos de los gobiernos estatales y locales han empezado a reconocer el enorme potencial de la IA. Al mismo tiempo, muchos de los líderes con los que hablo sobre la IA siguen siendo escépticos sobre su madurez actual. Los directores de informática, en particular, han compartido conmigo sus preocupaciones sobre tres cuestiones clave:
Precisión: los directores de informática cuestionan la fiabilidad y la precisión de los resultados generados por la IA, y con razón. Esos resultados pueden verse sesgados tanto por errores involuntarios como por intentos deliberados y maliciosos de engañar.
Si los atacantes piratean el modelo de IA de un organismo gubernamental, ese organismo podría difundir involuntariamente información errónea generada por la IA a los ciudadanos. Imaginemos el chatbot de un gobierno estatal que proporciona información incorrecta sobre las prestaciones por desempleo o los servicios sanitarios.
Del mismo modo, los directores de informática quieren evitar el uso de información inexacta como base para la toma de decisiones. Si utilizan la IA para detectar el fraude en los programas gubernamentales, por ejemplo, los errores relacionados con la IA podrían suponer una pérdida de tiempo para examinar las reclamaciones legítimas o la pérdida de oportunidades para detectar actividades fraudulentas.Privacidad: los directores de informática tienen preocupaciones legítimas de que la información confidencial de los ciudadanos pueda quedar expuesta, especialmente si los empleados incorporan involuntariamente datos o archivos de los ciudadanos en sistemas que recopilan datos para entrenar modelos de IA. El uso de una herramienta de IA para analizar los datos de salud de los ciudadanos para crear un informe, por ejemplo, podría permitir que su modelo de IA recopile información confidencial y luego exponga esos datos en otros contextos.
Seguridad: los directores de informática están preocupados, y con razón, de las numerosas formas en que los datos y los modelos podrían quedar expuestos a medida que sus organismos aumentan el uso de la IA. Por ejemplo, los atacantes podrían manipular las instrucciones de los chatbots basados en IA orientados a los ciudadanos para engañar a los modelos y generar información errónea o para acceder a los sistemas backend. Necesitan formas de abordar una amplia gama de amenazas a su ecosistema de IA para proteger no solo los datos de los ciudadanos, sino también los sistemas de los organismos.
A pesar de estas preocupaciones, la gran mayoría de los organizaciones del sector público carecen de un plan sólido para abordar las implicaciones del uso de la IA. Y, sin embargo, algunos han seguido adelante con la implementación de la IA, exponiéndose a fallos de seguridad que acaban en titulares y a la difusión de información errónea.
Definición del recorrido
Muchos organismos gubernamentales estatales y locales ya han iniciado su recorrido por la IA con programas piloto o implementaciones limitadas de herramientas de IA. Incluso en organizaciones que no buscan activamente la IA, los empleados o equipos individuales pueden estar utilizando herramientas de IA fácilmente disponibles, un fenómeno conocido como "Shadow AI". Independientemente de si su uso está autorizado oficialmente, la IA está presente en la mayoría de los organismos, por lo que es fundamental desarrollar e implementar una estrategia de seguridad de la IA.
Esa estrategia debe tener facetas que correspondan a cada etapa del recorrido de la IA. En mi trabajo con organizaciones del sector público, he visto que suelen pasar por tres etapas clave del uso de la IA:
Consumo: inicialmente, los organismos consumen IA. Experimentan con modelos, aplicaciones y herramientas, incluidos los servicios de IA generativa. Esta fase suele implicar el uso de la IA aprobada y paralela.
Integración: a continuación, los organismos empiezan a integrar la IA con sus datos y sistemas existentes. Esta integración comienza a revelar el verdadero valor de la IA para aumentar la productividad o mejorar las experiencias digitales.
Protección avanzada: los organismos suelen implementar algunas funciones de seguridad en las dos primeras etapas de su recorrido. Pero a medida que avanzan con la adopción de la IA, necesitan mejorar su postura de seguridad. Para defenderse de las amenazas cada vez más sofisticadas basadas en la IA, los organismos deben implementar capacidades de seguridad avanzadas y herramientas de IA.
Las organizaciones deben crear una estrategia que coincida con cada una de las fases de su uso de la IA. El primer paso es implementar una defensa básica para proteger los datos durante la fase de consumo de IA.
Protege los cimientos de la IA
La base se centran en establecer una visibilidad integral del uso de la IA en toda la organización, al tiempo que se desarrollan marcos educativos y de políticas sólidos. Un componente esencial de esta base es abordar las ciberamenazas relacionadas con la adquisición de datos de modelos lingüísticos de gran tamaño (LLM). Los LLM ingieren datos continuamente para mejorar sus modelos, y los organismos deben prestar especial atención a dos vectores principales de adquisición de datos.
Extracción de contenido web: muchos LLM recopilan y procesan automáticamente información de sitios web públicos. Las empresas comerciales podrían estar más preocupadas por la extracción de contenido web que las organizaciones del sector público, ya que esta técnica podría dar lugar al uso de la propiedad intelectual de una empresa para entrenar modelos. Aun así, los organismos gubernamentales deben ser conscientes de que cualquier cosa que publiquen en sus sitios web podría recopilarse como datos para modelos de IA.
Interacciones con herramientas de IA: Cuando los empleados utilizan herramientas de IA, como los servicios de IA generativa, pueden exponer inadvertidamente información confidencial a través de sus instrucciones y consultas. Incluso acciones aparentemente inocentes, como pedir a una herramienta de IA que analice un conjunto de datos o cree una visualización, pueden transferir accidentalmente datos confidenciales a sistemas LLM externos.
Abordar estos riesgos requiere protecciones básicas. Los organismos deben establecer políticas claras de uso de la IA, controles sólidos de protección de datos y medidas de seguridad exhaustivas para salvaguardar los datos de los ciudadanos. En concreto, la estrategia de referencia debe centrarse en:
Visibilidad y concienciación: los organismos necesitan ver qué LLM y herramientas de IA se utilizan y quién las utiliza. También deben determinar qué bots de IA permitirán que extraigan sus contenidos web, y emplear herramientas de gestión de bots para distinguir los bots buenos de los malos.
Educación y políticas: es fundamental formar a los empleados sobre cómo funcionan las herramientas de IA y cómo evitar la exposición de datos confidenciales. Por ejemplo, deben aprender a evitar introducir datos confidenciales en las instrucciones de una herramienta de IA generativa. Los organismos también deben establecer políticas que puedan reducir la probabilidad de problemas de seguridad y privacidad causados por posibles errores de los empleados. Y como el panorama de la IA es dinámico, los organismos tendrán que actualizar continuamente la educación y ajustar las políticas.
Privacidad de datos y prevención de pérdida de datos (DLP): además de establecer políticas para el uso de la IA, los organismos deben implementar herramientas DLP que eviten que la información de identificación personal (PII) y otros datos confidenciales de los ciudadanos se filtren a través del uso de la IA.
Zero Trust: la implementación de una solución de acceso a la red Zero Trust puede ayudar a controlar la Shadow Ai al tiempo que garantiza que los usuarios accedan solo a herramientas de IA aprobadas y permitidas.
Protege la integración de la IA
Durante la siguiente fase del recorrido de la IA, las organizaciones empiezan a integrar herramientas y modelos de IA en sus sistemas y procesos existentes. Los organismos gubernamentales estatales y locales pueden conectar las herramientas de IA a los sistemas que procesan formularios, o pueden incorporar chatbots basados en IA en los portales de los ciudadanos.
El proceso de integración puede presentar desafíos técnicos. Por ejemplo, los datos existentes de una organización pueden carecer de la organización y la estructura adecuadas para su uso con herramientas de IA. Por otro lado, la integración puede crear riesgos de seguridad, ya que muchas herramientas de IA operan fuera del control directo de la organización.
Abordar estos desafíos requiere centrarse en algunas áreas críticas, como la preparación y la privacidad de los datos.
Preparación de datos: para preparar los datos para las herramientas de IA, los equipos deben etiquetar y clasificar los datos. Este proceso también ayuda a proteger esos datos, ya que los equipos pueden implementar controles de seguridad basados en clasificaciones.
Privacidad de datos: los organismos deben implementar un marco de privacidad de datos, además de una serie de capacidades de seguridad para proteger los datos mientras circulan entre los sistemas internos y los servicios externos de IA. Además de las capacidades de DLP, los organismos necesitan visibilidad y control sobre las API utilizadas para conectarse con servicios externos de IA. Necesitan capacidades para el análisis y la supervisión de la red, herramientas como un agente de seguridad de acceso a la nube (CASB) y una puerta de enlace web segura (SWG), que pueden ayudar a controlar los flujos de tráfico de IA.
Implementa defensas avanzadas
Más allá de mejorar la productividad de los empleados y ofrecer nuevas experiencias digitales a los ciudadanos, la IA puede transformar la ciberseguridad. Mediante el uso de algoritmos avanzados y el aprendizaje automático, la IA puede ayudar a los equipos de seguridad a detectar amenazas emergentes, gestionar vulnerabilidades y responder a incidentes de forma automática. La automatización de tareas tradicionalmente manuales no solo aumenta la eficiencia, sino que también reduce el error humano en las operaciones críticas de seguridad.
Por supuesto, los atacantes también están aprovechando la IA para mejorar sus operaciones maliciosas. Utilizan la IA para generar campañas de phishing más sofisticadas, mejorar el reconocimiento y desarrollar malware avanzado. Mientras tanto, atacan las vulnerabilidades de los sistemas de IA generativa.
Para contrarrestar estas amenazas en constante evolución, los organismos deben adoptar un enfoque proactivo de la seguridad. No solo deben aprovechar las capacidades defensivas de la IA, sino también tener en cuenta las vulnerabilidades específicas de la IA y los vectores de ataque con algunas prácticas recomendadas:
Seleccionar modelos de IA seguros: a medida que los organismos siguen conectando sus sistemas con los servicios de IA, deben asegurarse de que los modelos de IA y los proveedores de modelos cumplen sus estándares de calidad y seguridad. Mantener una "lista de permitidos" con los modelos y aplicaciones de IA aprobados puede reducir el riesgo de que los sistemas mal protegidos creen vulnerabilidades en sus entornos.
Implementar herramientas de seguridad basadas en la IA: las herramientas de seguridad que utilizan el aprendizaje automático o la IA pueden proporcionar información avanzada sobre amenazas, lo que ayudará a los organismos a identificar las amenazas mucho antes que las herramientas tradicionales. Al mismo tiempo, las herramientas de IA y aprendizaje automático pueden detectar vulnerabilidades en los entornos informáticos para que los organismos puedan reforzar sus defensas antes de que se produzcan incidentes.
Emplear la supervisión continua: los equipos informáticos deben asegurarse de que las aplicaciones y los entornos de IA no hayan quedado expuestos. La supervisión continua del comportamiento anómalo es fundamental para proporcionar señales tempranas de acciones maliciosas.
Hacia el futuro, con seguridad, de la mano de una IA transformadora
La integración de la IA en las organizaciones del sector público presenta importantes oportunidades y desafíos de seguridad. El éxito requiere un enfoque estructurado de la seguridad que evolucione a medida que las organizaciones amplíen su uso de la IA. Las organizaciones deben empezar con controles de seguridad fundamentales y mejorar progresivamente su postura de seguridad a medida que maduran sus capacidades e integraciones de IA. Esto incluye mantener un fuerte enfoque en la protección y la gobernanza de datos, implementar procesos continuos de supervisión y evaluación, e invertir en educación continua y desarrollo de políticas.
La conectividad cloud de Cloudflare permite a los gobiernos estatales y locales implementar un marco de seguridad integral para la IA con servicios inteligentes nativos de nube en una plataforma unificada. Las soluciones de Cloudflare para el sector público reúnen servicios clave de seguridad, redes y desarrollo de aplicaciones que cumplen con los rigurosos estándares de FedRAMP. Con Cloudflare, tu organismo puede seguir avanzando en su recorrido hacia la IA, al tiempo que conserva el control de los datos confidenciales.
Este artículo forma parte de un conjunto de publicaciones sobre las últimas tendencias y temas que afectan a los responsables de la toma de decisiones sobre tecnología en la actualidad.
Más información sobre este tema
Más información sobre cómo facilitar la integración de la IA en tu organización sin poner en riesgo los datos confidenciales en la guía "Aprende a garantizar prácticas seguras de IA: Guía del CISO sobre cómo crear una estrategia de IA escalable".
Autor
Dan Kent — @danielkent1
Director técnico para el sector público, Cloudflare
CONCLUSIONES CLAVE
Después de leer este artículo podrás entender:
Las tres principales preocupaciones relacionadas con la IA de los directores de informática del sector público
El recorrido típico de la IA en tres etapas para los gobiernos estatales y locales
Los pasos fundamentales para proteger las implementaciones de IA