theNet by CLOUDFLARE

Aprende a prevenir el uso de Shadow AI

Implementación de controles para el uso de la IA en los gobiernos

La legislación sobre IA está en auge

Las normativas y la legislación sobre IA están en auge. En 2024, la Oficina de Gestión y Presupuesto de la Casa Blanca emitió el Memorando 24-10 a todas las agencias y departamentos federales de Estados Unidos sobre el uso de la IA en el gobierno. El objetivo del memorándum, que consta de tres partes, es:

  • Reforzar la gobernanza de la IA

  • Promover la innovación responsable de la IA

  • Gestionar los riesgos derivados del uso de la IA

Ha habido esfuerzos similares a nivel estatal para abordar las preocupaciones sobre el uso y el mal uso de la IA. En 2023, 25 estados introdujeron legislación centrada en algunos aspectos de la IA. La legislación se promulgó con éxito en 18 estados y en Puerto Rico. Mientras que algunas leyes se centran en el estudio inicial o la evaluación del uso de la IA, otras pretenden regular el uso de la IA por parte de los empleados o implementar controles para mitigar el uso malicioso o las consecuencias no deseadas.

La legislación reciente destaca algunos de los peligros del uso de la IA en el gobierno y presenta algunos desafíos para las agencias gubernamentales y otras organizaciones del sector público. Estas organizaciones tendrán que establecer controles para proteger las propiedades públicas de las amenazas y ayudar a garantizar un consumo adecuado de la IA.


Desafío n.º 1: proteger las propiedades accesibles desde Internet de los bots de IA

Los rastreadores basados en IA pueden tener usos legítimos y beneficiosos para los organismos gubernamentales y otras organizaciones del sector público. En algunos contextos, los rastreadores e indexadores responsables pueden utilizar datos de acceso público para mejorar la capacidad de los ciudadanos de encontrar servicios e información en línea relevantes.

Por otro lado, los rastreadores de IA malintencionados o con un escaso nivel de desarrollo pueden extraer contenido para entrenar plataformas públicas de IA sin tener en cuenta la privacidad de ese contenido. Podría haber numerosos problemas de propiedad intelectual y privacidad si estos datos acaban entrenando modelos. Si no se toman medidas, estos bots también pueden ralentizar el rendimiento de los sitios web públicos para todos los usuarios, ya que pueden consumir recursos de interacciones legítimas.

Control 1: Implementar protecciones para aplicaciones

Las agencias pueden implementar varias protecciones del lado del servidor o de la aplicación para ayudar a controlar cómo interactúan los bots con los servidores. Por ejemplo, pueden implementar un archivo robots.txt. Este archivo puede informar y definir cómo interactúa el tráfico del rastreador con varias secciones de un sitio y sus datos. El archivo se implementa en la raíz del sitio y define qué agentes (bots) pueden rastrear el sitio y a qué recursos pueden acceder.

Sin embargo, hay un par de desafíos con este enfoque. En primer lugar, el rastreador debe respetar el archivo robots.txt. Aunque esta es una práctica recomendada general para los bots "respetables", no todo el mundo sigue las reglas. También hay bots no maliciosos que podrían malinterpretar la sintaxis y, en consecuencia, interactuar con elementos que las agencias quieren mantener ocultos.

En resumen, aunque este es un enfoque común, aprovechar robots.txt o un archivo .htaccess similar (Apache) no es una protección infalible. Sin embargo, puede formar parte de un enfoque holístico para controlar cómo interactúan los bots legítimos con el contenido de la aplicación.

Control 2: Implementar la mitigación de bots en aplicaciones web

Los firewalls de aplicaciones web (WAF) y las soluciones de mitigación de bot son esenciales en el mundo actual para proteger las aplicaciones web públicas. Estos controles ayudan a las organizaciones a proteger sus propiedades digitales públicas de las amenazas de denegación de servicio distribuido (DDoS), API paralelas e inseguras, junto con otras amenazas relacionadas con bots.

Cualquier solución de mitigación de bot actual debe incluir la capacidad de identificar y clasificar mediante programación los bots que extraen contenido al servicio del entrenamiento de datos de IA. Este mecanismo de clasificación es una capacidad crítica. Puede permitir rastreadores de IA legítimos y verificados, o puede bloquearlos por completo hasta que una agencia determine cómo se debe permitir que estos bots interactúen con un sitio web.

La selección de soluciones escalables también es clave. En 2023, el secretario general de las Naciones Unidas, António Guterres, observó que, aunque los libros impresos tardaron más de 50 años en estar ampliamente disponibles en toda Europa, "ChatGPT alcanzó los 100 millones de usuarios en solo dos meses". La escala y el crecimiento sin precedentes de las plataformas de IA se correlacionan directamente con el creciente número de bots de IA que buscan cualquier conjunto de datos expuesto públicamente para su entrenamiento. La arquitectura de estas plataformas debe poder escalar en un entorno global distribuido.


Desafío n.º 2: Shadow AI: uso no autorizado de modelos de IA abiertos

Las plataformas públicas de IA han permitido a los usuarios acelerar tareas que van desde escribir un memorando hasta crear código complejo. Dentro del gobierno, las agencias estatales y federales ven el potencial del uso de la IA para resolver problemas sociales complejos, como los desafíos de la atención médica , el acceso a los servicios para los ciudadanos, la seguridad de los alimentos y el agua, entre otros. Sin embargo, sin gobernanza, las organizaciones podrían ser cómplices de filtrar conjuntos de datos regulados a datos de entrenamiento de modelos de lenguaje público inseguros.

Del mismo modo que las organizaciones han aprovechado las herramientas para controlar el uso no autorizado de aplicaciones en la nube o "Shadow IT", ahora necesitan comprender el alcance de su uso dentro de sus organizaciones. El aumento del uso de herramientas de "Shadow AI" está acaparando titulares. Un estudio elaborado por 3Gem a más de 11 500 usuarios en todo el mundo mostró que el 57 % de los usuarios utiliza herramientas públicas de IA generativa en la oficina al menos una vez a la semana. En el mismo estudio, el 39 % de los encuestados coincide en que existe el riesgo de que se filtren datos confidenciales a través de estas interacciones.

Estos datos confidenciales también se pueden compartir sin saberlo entre los modelos de IA. Los modelos de IA se entrenan cada vez más con datos producidos por otros modelos en lugar de con el contenido de origen tradicional.

Control 1: Evaluar el uso adecuado

Para un enfoque integral de la IA paralela, las organizaciones primero deben definir el uso aceptable de los modelos públicos de IA. Además, deben determinar qué roles necesitan acceder a esos modelos. Establecer estas medidas de seguridad es un primer paso fundamental. Las nuevas leyes sobre la IA en el gobierno, y la IA en el sector público en general, destacan con frecuencia la importancia de revisar el uso adecuado de la IA en los organismos y decidir qué modelos deben permitirse.

Control 2: Implementar el acceso controlado

Una vez que se ha determinado el uso apropiado, los organismos deben desarrollar controles para hacer cumplir las políticas. Los principios del acceso a la red Zero Trust (ZTNA) permiten el desarrollo y la aplicación de esas políticas para restringir el acceso no autorizado.

Por ejemplo, una agencia podría permitir que solo los usuarios autorizados de grupos administrativos específicos accedan a modelos públicos de IA. Antes de permitir el acceso a esos modelos, una solución ZTNA también puede realizar comprobaciones de postura adicionales, como garantizar que los dispositivos corporativos estén actualizados con los parches o que los dispositivos tengan en ejecución agentes de gestión de punto final aprobados por el gobierno. Con ZTNA, la agencia puede aplicar y restringir quién puede acceder a estos modelos públicos de IA mientras opera con activos gubernamentales.

Control 3: Determinar qué datos pueden revelarse a las plataformas de IA

El uso aceptable va más allá de definir qué usuarios pueden acceder a las plataformas de IA. Las agencias también necesitan comprender y controlar los datos que se publican o envían a las plataformas de IA. Incluso algo tan inocuo como una nota del departamento podría incluir puntos de datos confidenciales o no públicos. Una vez que esos puntos de datos se envían a un modelo lingüístico de gran tamaño (LLM), existe el riesgo de que esos datos queden expuestos.

Los controles de prevención de pérdida de datos (DLP) pueden ayudar a detener el uso inapropiado de datos confidenciales. Los controles adecuados ayudarán a garantizar que la información privada, como el código de aplicación confidencial o incluso los datos de los ciudadanos, no se convierta en parte de un conjunto de datos de entrenamiento no seguro para una plataforma de IA.

Tomemos el ejemplo de un grupo de desarrolladores de IA que necesita interactuar con plataformas de IA públicas y privadas (internas). Una agencia podría permitir el consumo de plataformas de IA tanto públicas (por ejemplo, ChatGPT) como privadas (por ejemplo, AWS BedRock). Solo los usuarios aprobados en el grupo de desarrollo de IA tendrían acceso a estas plataformas. Los usuarios generales serían bloqueados de ambas plataformas.

Incluso cuando hay un grupo de usuarios de desarrollo de IA aprobado, la implementación de una regla de DLP puede ser beneficiosa. La regla de DLP puede examinar los datos publicados en las plataformas de IA y puede asegurarse de que los datos confidenciales no públicos se publiquen solo en la plataforma de IA privada interna.


Protección de los componentes

La gobernanza debe empezar con una política o una misión, no con la tecnología. Para evaluar los beneficios y los riesgos de la IA, los responsables de una agencia deben designar equipos específicos que puedan evaluar las posibles intersecciones de la IA y la misión de la agencia.

A medida que el público siga aumentando su compromiso con el gobierno a través de la tecnología, habrá conjuntos de datos más grandes y enriquecidos que podrían utilizarse para entrenar modelos de IA. Las organizaciones del sector público podrían optar por un enfoque conservador bloqueando todos los rastreadores de IA, por ejemplo, hasta que se comprenda el impacto de permitir esas interacciones. Para las organizaciones que ven un beneficio potencial del rastreo legítimo de propiedades públicas, los equipos deben poder controlar el acceso de los rastreadores de IA verificados y protegerse contra acciones maliciosas.

Para anticiparse al aumento de la regulación de la IA, los equipos también deben establecer qué roles y tareas requieren acceso a las plataformas de IA. Determinar quién tiene acceso y cuándo, y controlar los tipos de datos publicados en los modelos de IA, puede abordar la IA paralela sin sacrificar los beneficios tangibles de esta tecnología.

Las funciones de gestión de bots y seguridad Zero Trust son fundamentales para ayudar a las entidades gubernamentales a reducir el riesgo ante la proliferación del uso de la IA. La protección de las propiedades web públicas y el mantenimiento del consumo responsable de la IA deben ser una prioridad a la hora de desarrollar estrategias de mitigación.

La IA es muy prometedora para ayudar a resolver muchos problemas sociales complejos. Sin embargo, existen varias desventajas potenciales para el uso de la IA en el gobierno y el sector público. Para los organismos gubernamentales y otras organizaciones del sector público, la protección de sus electores siempre debe tener prioridad a la hora de explorar esta nueva tecnología.

Este artículo forma parte de un conjunto de publicaciones sobre las últimas tendencias y temas que afectan a los responsables de la toma de decisiones sobre tecnología en la actualidad.



Más información sobre este tema.

Descubre cómo un modelo de seguridad Zero Trust puede reducir el riesgo ante la proliferación del uso de la IA en la guía completa, "Guía de implementación de la arquitectura Zero Trust ".

Autor

Scottie Ray — @H20nly
Arquitecto principal de soluciones, Cloudflare



CONCLUSIONES CLAVE

Después de leer este artículo podrás entender:

  • El estado incipiente de la legislación en materia de IA

  • Los 2 desafíos principales de la IA

  • Controles que ayudan a los organismos a cumplir la legislación


Recursos relacionados


¿Quieres recibir un resumen mensual de la información más solicitada de Internet?