Aprende a prevenir el uso de Shadow AI
Implementación de controles para el uso de la IA en los gobiernos
La legislación sobre IA está en auge
Las normativas y la legislación sobre IA están en auge. En 2024, la Oficina de Administración y Presupuesto de la Casa Blanca emitió el Memorando 24-10 a todas las agencias y departamentos federales de Estados Unidos sobre el uso de la IA en el Gobierno. El objetivo del memorándum, que consta de tres partes, es:
Reforzar la gobernanza de la IA
Promover la innovación responsable de la IA
Gestionar los riesgos derivados del uso de la IA
Ya existían iniciativas similares a nivel estatal para abordar las preocupaciones sobre el uso y el mal uso de la IA. En 2023, 25 estados aprobaron nuevas leyes centradas en algunos aspectos de la IA. La legislación se promulgó con éxito en 18 estados y en Puerto Rico. Mientras que algunas leyes se centran en el estudio inicial o la evaluación del uso de la IA, otras pretenden regular el uso de la IA por parte de los empleados o implementar controles para mitigar el uso malicioso o las consecuencias no deseadas.
La legislación reciente destaca algunos de los peligros del uso de la IA en el Gobierno y plantea algunos desafíos para las agencias gubernamentales y otras organizaciones del sector público. Estas organizaciones tendrán que establecer controles para proteger las propiedades públicas de las amenazas y ayudar a garantizar un uso adecuado de la IA.
Desafío n.º 1: proteger las propiedades accesibles desde Internet de los bots de IA
Los rastreadores basados en IA pueden tener usos legítimos y beneficiosos para los organismos gubernamentales y otras organizaciones del sector público. En algunos contextos, los rastreadores e indexadores responsables pueden utilizar datos accesibles desde Internet para mejorar la capacidad de los ciudadanos de encontrar servicios e información en línea relevantes.
Por otro lado, los rastreadores de IA malintencionados o con un escaso nivel de desarrollo pueden extraer contenido para entrenar plataformas públicas de IA sin tener en cuenta la privacidad de ese contenido. Podría haber numerosos problemas de propiedad intelectual y privacidad si estos datos acaban entrenando modelos. Si no se toman medidas, estos bots también pueden ralentizar el rendimiento de los sitios web públicos para todos los usuarios, ya que pueden consumir recursos de interacciones legítimas.
Control 1: Implementar protecciones para aplicaciones
Las agencias pueden implementar varias protecciones del lado del servidor o de la aplicación para ayudar a controlar cómo interactúan los bots con los servidores. Por ejemplo, pueden implementar un archivo robots.txt. Este archivo puede informar y definir cómo interactúa el tráfico del rastreador con varias secciones de un sitio y sus datos. El archivo se implementa en la raíz del sitio y define qué agentes (bots) pueden rastrear el sitio y a qué recursos pueden acceder.
Sin embargo, este enfoque plantea un par de desafíos. En primer lugar, el rastreador debe respetar el archivo robots.txt. Aunque esta es una práctica recomendada general para los bots "respetables", no todo el mundo sigue las reglas. También hay bots no maliciosos que podrían malinterpretar la sintaxis y, en consecuencia, interactuar con elementos que las agencias quieren mantener ocultos.
En resumen, aunque este es un enfoque común, aprovechar robots.txt o un archivo .htaccess similar (Apache) no es una protección infalible. Sin embargo, puede formar parte de un enfoque integral para controlar cómo interactúan los bots buenos con el contenido de la aplicación.
Control 2: Implementar la mitigación de bots en aplicaciones web
Los firewalls de aplicaciones web (WAF) y las soluciones de mitigación de bots son esenciales en el mundo actual para proteger las aplicaciones web públicas. Estos controles ayudan a las organizaciones a proteger sus propiedades digitales públicas de las amenazas de denegación de servicio distribuido (DDoS), API paralelas y poco seguras, junto con otras amenazas relacionadas con bots.
Cualquier solución de mitigación de bot actual debe incluir la capacidad de identificar y clasificar mediante programación los bots que extraen contenido al servicio del entrenamiento de datos de IA. Este mecanismo de clasificación es una capacidad crítica. Puede permitir rastreadores de IA legítimos y verificados, o puede bloquearlos por completo hasta que una agencia determine cómo se debe permitir que estos bots interactúen con un sitio web.
La selección de soluciones escalables también es clave. En 2023, el secretario general de las Naciones Unidas, António Guterres, mencionó la comparativa entre la IA y la imprenta y observó que, si bien los libros impresos tardaron más de 50 años en estar disponibles en toda Europa, "ChatGPT alcanzó 100 millones de usuarios en solo dos meses". La escala y el crecimiento sin precedentes de las plataformas de IA se correlacionan directamente con el número cada vez mayor de bots de IA que buscan cualquier conjunto de datos expuesto públicamente para su entrenamiento. La arquitectura de estas plataformas debe poder escalar en un entorno global distribuido.
Desafío n.º 2: Shadow AI: uso no autorizado de modelos de IA abiertos
Las plataformas públicas de IA han permitido a los usuarios acelerar tareas que van desde escribir un informe hasta crear código complejo. Dentro del Gobierno, las agencias estatales y federales ven el potencial del uso de la IA para resolver problemas sociales complejos, como los desafíos de la sanidad, el acceso a los servicios para los ciudadanos, la seguridad de los alimentos y el agua, entre otros. Sin embargo, sin gobernanza, las organizaciones podrían ser cómplices de filtrar conjuntos de datos regulados a datos de entrenamiento de modelos de lenguaje público inseguros.
Del mismo modo que las organizaciones han aprovechado las herramientas para controlar el uso no autorizado de aplicaciones en la nube o "Shadow IT", ahora necesitan comprender el alcance de su uso dentro de sus organizaciones. El aumento del uso de herramientas de "Shadow AI" está acaparando titulares. Un estudio elaborado por 3Gem a más de 11 500 usuarios en todo el mundo mostró que el 57 % de los usuarios utiliza herramientas públicas de IA generativa en la oficina al menos una vez a la semana. En el mismo estudio, el 39 % de los encuestados coincide en que existe el riesgo de que se filtren datos confidenciales a través de estas interacciones.
Estos datos confidenciales también se pueden compartir sin saberlo entre los modelos de IA. Los modelos de IA se entrenan cada vez más con datos producidos por otros modelos en lugar de con el contenido de origen tradicional.
Control 1: Evaluar el uso adecuado
Para un enfoque integral que aborde el uso de la Shadow AI (uso de herramientas y aplicaciones de inteligencia artificial que son adoptadas por usuarios sin la aprobación o supervisión de los equipos de informática), las organizaciones primero deben definir el uso aceptable de los modelos públicos de IA. Además, deben determinar qué roles necesitan acceder a esos modelos. Establecer estas medidas de seguridad es un primer paso fundamental. Las nuevas leyes sobre la IA en el Gobierno, y la IA en el sector público en general, destacan con frecuencia la importancia de revisar el uso adecuado de la IA en los organismos y decidir qué modelos deben permitirse.
Control 2: Implementar el acceso controlado
Una vez que se ha determinado el uso apropiado, los organismos deben desarrollar controles para hacer cumplir las políticas. Los principios del acceso a la red Zero Trust (ZTNA) permiten el desarrollo y la aplicación de esas políticas para restringir el acceso no autorizado.
Por ejemplo, un organismo podría permitir que solo los usuarios autorizados de grupos administrativos específicos accedan a modelos públicos de IA. Antes de permitir el acceso a esos modelos, una solución ZTNA también puede realizar comprobaciones de postura adicionales, como garantizar que los dispositivos corporativos estén actualizados con revisiones o que los dispositivos tengan en ejecución agentes de gestión de puntos finales aprobados por el Gobierno. Con una solución ZTNA, los organismos pueden permitir y restringir quién puede acceder a estos modelos públicos de IA mientras trabajan con activos gubernamentales.
Control 3: Determinar qué datos pueden revelarse a las plataformas de IA
El uso aceptable va más allá de definir qué usuarios pueden acceder a las plataformas de IA. Los organismos también necesitan comprender y controlar los datos que se publican o envían a las plataformas de IA. Incluso algo tan inofensivo como un informe del departamento podría incluir puntos de datos confidenciales o no públicos. Una vez que esos puntos de datos se envían a un modelo de lenguaje de gran tamaño (LLM), existe el riesgo de que esos datos queden expuestos.
Los controles de prevención de pérdida de datos (DLP) pueden ayudar a detener el uso inapropiado de datos confidenciales. Los controles adecuados ayudarán a garantizar que la información privada, como el código de aplicación confidencial o incluso los datos de los ciudadanos, no se convierta en parte de un conjunto de datos de entrenamiento no seguro para una plataforma de IA.
Veamos el ejemplo de un grupo de desarrolladores de IA que necesita interactuar con plataformas de IA públicas y privadas (internas). Un organismo podría permitir el consumo de plataformas de IA tanto públicas (por ejemplo, ChatGPT) como privadas (por ejemplo, AWS BedRock). Solo los usuarios autorizados en el grupo de desarrollo de IA tendrían acceso a estas plataformas. Los usuarios generales no podrían acceder a ninguna de esas plataformas.
Incluso cuando hay un grupo de usuarios de desarrollo de IA autorizado, la implementación de una regla de DLP puede ser beneficiosa. La regla de DLP puede examinar los datos publicados en las plataformas de IA y puede asegurarse de que los datos confidenciales no públicos se publiquen solo en la plataforma de IA privada interna.
Protección de los componentes
La gobernanza debe empezar con una política o una misión, no con la tecnología. Para evaluar los beneficios y los riesgos de la IA, los responsables de cualquier organismo deben designar equipos específicos que puedan evaluar las posibles intersecciones de la IA y la misión del departamento.
A medida que el público siga aumentando su interacción con el Gobierno a través de la tecnología, habrá conjuntos de datos más grandes y enriquecidos que se podrían utilizar para entrenar modelos de IA. Las organizaciones del sector público podrían optar por un enfoque conservador bloqueando todos los rastreadores de IA, por ejemplo, hasta que se comprenda el impacto de permitir esas interacciones. Para las organizaciones que ven un beneficio potencial del rastreo legítimo de propiedades públicas, los equipos deben poder controlar el acceso de los rastreadores de IA verificados y protegerse contra acciones maliciosas.
Para anticiparse al aumento de la regulación de la IA, los equipos también deben establecer qué roles y tareas requieren acceso a las plataformas de IA. Determinar quién tiene acceso y cuándo, y controlar los tipos de datos publicados en los modelos de IA, puede abordar el uso de la Shadow AI sin sacrificar los beneficios tangibles de esta tecnología.
Las funciones de gestión de bots y seguridad Zero Trust son fundamentales para ayudar a las entidades gubernamentales a reducir el riesgo ante la proliferación del uso de la IA. La protección de las propiedades web públicas y el mantenimiento del consumo responsable de la IA deben ser una prioridad a la hora de desarrollar estrategias de mitigación.
La IA es muy prometedora para ayudar a resolver muchos problemas sociales complejos. Sin embargo, existen varias desventajas potenciales para el uso de la IA en el gobierno y el sector público. Para los organismos gubernamentales y otras organizaciones del sector público, la protección de sus electores siempre debe tener prioridad a la hora de explorar esta nueva tecnología.
Este artículo forma parte de un conjunto de publicaciones sobre las últimas tendencias y temas que afectan a los responsables de la toma de decisiones sobre tecnología en la actualidad.
Más información sobre este tema.
Descubre cómo un modelo de seguridad Zero Trust puede reducir el riesgo ante la proliferación del uso de la IA en la guía completa, "Guía de implementación de la arquitectura Zero Trust ".
Autor
Scottie Ray — @H20nly
Arquitecto principal de soluciones, Cloudflare
CONCLUSIONES CLAVE
Después de leer este artículo podrás entender:
El estado incipiente de la legislación en materia de IA
Los 2 desafíos principales de la IA
Controles que ayudan a los organismos a cumplir la legislación