Implementação segura de IA para governos locais e estaduais
O lançamento do ChatGPT marcou o início de uma nova era para a inteligência artificial (IA), democratizando o acesso a ferramentas poderosas para usuários técnicos e não técnicos. Hoje, a IA está preparada para revolucionar vários aspectos de nossas vidas, desde a forma como aprendemos e trabalhamos até como criamos arte e curamos doenças.
No setor público, as agências governamentais estaduais e locais estão adotando prontamente ferramentas de IA. Uma pesquisa recente com profissionais seniores de agências estaduais, locais e federais mostrou que 51% usam um aplicativo de IA várias vezes por semana.
Nas agências estaduais e locais, as equipes estão explorando vários casos de uso de IA. estão automatizando processos baseados em formulários para aumentar a produtividade dos funcionários; implementação de chatbots assistidos por IA generativa (GenAI) para melhorar as experiências digitais; aprimorar a detecção de fraudes; e mais.
Não há dúvida de que a IA tem o poder de transformar as operações governamentais e a prestação de serviços aos cidadãos. Mas esta poderosa tecnologia também apresenta novos riscos. Lidar com esses riscos requer uma estratégia abrangente que progrida junto com o uso crescente de IA por uma agência. Além de ganhar visibilidade sobre o uso inicial da IA e estabelecer proteções de linha de base, cada agência deve salvaguardar a integração dos recursos de IA da agência com os sistemas existentes e implantar defesas avançadas baseadas em IA para combater ameaças cada vez mais sofisticadas.
Três preocupações importantes para governos estaduais e locais
À medida que os casos de uso se tornam mais claros, os executivos dos governos estaduais e locais começaram a reconhecer o tremendo potencial da IA. Ao mesmo tempo, muitos dos líderes com quem converso sobre a IA permanecem céticos sobre sua maturidade atual. Os CIOs, em particular, compartilharam comigo suas preocupações sobre três questões principais:
Precisão: os CIOs questionam a confiabilidade e a precisão dos resultados gerados pela IA e deveriam. Esses resultados podem ser distorcidos tanto por erros inadvertidos quanto por esforços intencionais e maliciosos para enganar.
Se o modelo de IA de uma agência governamental for envenenado por invasores, essa agência poderá inadvertidamente espalhar informações erradas geradas pela IA para os cidadãos. Imagine um chatbot do governo estadual fornecendo informações incorretas sobre seguro-desemprego ou serviços de saúde.
Da mesma forma, os CIOs querem evitar o uso de informações imprecisas como base para a tomada de decisões. Se usarem a IA para detectar fraudes em programas governamentais, por exemplo, erros relacionados à IA podem levar a uma perda de tempo examinando reivindicações legítimas ou à perda de oportunidades para detectar atividades fraudulentas.Privacidade: os CIOs têm preocupações legítimas de que informações confidenciais dos cidadãos possam ser expostas, especialmente se os funcionários inserirem dados ou arquivos de cidadãos involuntariamente em sistemas que estão coletando dados para treinar modelos de IA. Usar uma ferramenta de IA para analisar dados de saúde dos cidadãos para criar um relatório, por exemplo, poderia permitir que seu modelo de IA coletasse informações confidenciais e, em seguida, exponha esses dados em outros contextos.
Segurança: os CIOs estão preocupados, com razão, com as várias maneiras pelas quais dados e modelos podem ser comprometidos à medida que suas agências aprofundam o uso da IA. Por exemplo, os invasores podem manipular prompts de chatbots baseados em IA voltados para os cidadãos para induzir os modelos a gerar informações incorretas ou obter acesso a sistemas de back-end. Elas precisam de maneiras de lidar com uma completa gama de ameaças ao seu ecossistema de IA para proteger não apenas os dados dos cidadãos, mas também os sistemas das agências.
Apesar dessas preocupações, a grande maioria das organizações do setor público carece de um plano sólido para lidar com as implicações do uso da IA. No entanto, algumas avançaram com as implementações de IA, deixando-se expostas a violações que geraram manchetes e a disseminação de informações erradas.
Definindo a jornada
Muitas agências governamentais estaduais e locais já iniciaram sua jornada de IA com programas piloto ou implantações limitadas de ferramentas de IA. Mesmo em organizações que não buscam ativamente a IA, funcionários ou equipes individuais podem estar usando ferramentas de IA prontamente disponíveis, um fenômeno conhecido como “IA oculta”. Independentemente de o seu uso ser oficialmente sancionado, a IA está presente na maioria das agências, tornando essencial desenvolver e implementar uma estratégia de segurança de IA.
Essa estratégia deve ter facetas que correspondam a cada estágio da jornada da IA. Em meu trabalho com organizações do setor público, eu as vi normalmente progredir através de três estágios principais de uso da IA:
Consumo: inicialmente, as agências consomem IA. Elas experimentam modelos, aplicativos e ferramentas, incluindo serviços de GenAI. Essa fase geralmente envolve o uso de IA aprovada e oculta.
Integração: as agências então começam a integrar a IA com seus dados e sistemas existentes. Essa integração começa a desbloquear o verdadeiro valor da IA para aumentar a produtividade ou melhorar as experiências digitais.
Defesa avançada: as agências muitas vezes implementam alguns recursos de segurança nos dois primeiros estágios de sua jornada. Mas, à medida que progridem com a adoção da IA, eles precisam fortalecer sua postura de segurança. Para se defender contra ameaças assistidas por IA cada vez mais sofisticadas, as agências devem implementar recursos de segurança avançados e ferramentas de IA.
As organizações devem criar uma estratégia que corresponda a cada uma das fases do uso da IA. Implementar uma defesa de linha de base para proteger os dados durante a fase de consumo de IA é o primeiro passo.
Proteger a linha de base da IA
A linha de base se concentra no estabelecimento de uma visibilidade abrangente do uso da IA em toda a organização, enquanto desenvolve estruturas robustas de educação e políticas. Um componente crítico desta linha de base é lidar com as ameaças cibernéticas relacionadas à aquisição de dados do modelo de linguagem grande (LLMs). Os LLMs ingerem dados continuamente para melhorar seus modelos e as agências devem prestar atenção especial a dois vetores primários de aquisição de dados.
Raspagem da web: muitos LLMs coletam e processam informações automaticamente de sites públicos. As empresas comerciais podem estar mais preocupadas com a raspagem da web do que as organizações do setor público, uma vez que a raspagem poderia resultar no uso da propriedade intelectual de uma empresa para modelos de treinamento. Ainda assim, as agências governamentais devem estar cientes de que qualquer coisa que publiquem em seus sites pode ser coletada como dados para modelos de IA.
Interações com ferramentas de IA: quando os funcionários usam ferramentas de IA, como serviços de GenAI, eles podem expor inadvertidamente informações confidenciais por meio de seus prompts e consultas. Mesmo ações aparentemente inocentes, como pedir a uma ferramenta de IA que analise um conjunto de dados ou crie uma visualização, podem transferir acidentalmente dados confidenciais para sistemas LLM externos.
Lidar com esses riscos requer proteções básicas. As agências devem estabelecer políticas claras de uso de IA, controles robustos de proteção de dados e medidas de segurança completas para proteger os dados dos cidadãos. Em particular, a estratégia da linha de base deve se concentrar em:
Visibilidade e conscientização: as agências precisam ver quais LLMs e ferramentas de IA estão sendo usados e por quem. Elas também devem determinar quais bots de IA permitirão que raspem seus sites e empregarão ferramentas de gerenciamento de bots para distinguir os bots bons dos ruins.
Educação e políticas: é fundamental educar os funcionários sobre como as ferramentas de IA funcionam e como evitar a exposição de dados confidenciais. Por exemplo, eles devem aprender como evitar a inserção de dados confidenciais no prompt de uma ferramenta de GenAI. As agências também devem implementar políticas que possam reduzir a probabilidade de problemas de segurança e privacidade causados por possíveis erros de funcionários. E como o cenário da IA é dinâmico, as agências precisarão atualizar continuamente a educação e ajustar as políticas.
Privacidade de dados e prevenção de perda de dados (DLP): Além de definir políticas para o uso da IA, as agências devem implementar ferramentas DLP que evitem que informações de identificação pessoal (PII) e outros dados confidenciais dos cidadãos vazem através do uso da IA.
Zero Trust: a implementação de uma solução de acesso à rede Zero Trust pode ajudar a controlar a IA oculta e, ao mesmo tempo, garantir que os usuários acessem apenas ferramentas de IA verificadas e permitidas.
Proteja a integração de IA
Durante a próxima fase da jornada da IA, as organizações começam a integrar ferramentas e modelos de IA em seus sistemas e processos existentes. As agências governamentais estaduais e locais podem conectar ferramentas de IA a sistemas que processam formulários ou podem incorporar chatbots baseados em IA em portais de cidadãos.
O processo de integração pode apresentar desafios técnicos. Por exemplo, os dados existentes de uma organização podem não ter curadoria e estrutura adequadas para uso com ferramentas de IA. Enquanto isso, a integração pode criar riscos de segurança, já que muitas ferramentas de IA operam fora do controle direto da organização.
Enfrentar estes desafios requer foco em algumas áreas críticas, incluindo a preparação e a privacidade dos dados.
Preparação de dados: para preparar os dados para as ferramentas de IA, as equipes devem rotular e classificar os dados. Esse processo também ajuda a proteger esses dados, pois as equipes podem implementar controles de segurança com base nas classificações.
Privacidade dos dados: as agências precisam implementar uma estrutura de privacidade de dados, além de uma série de recursos de segurança para proteger os dados à medida que fluem entre sistemas internos e serviços externos de IA. Além dos recursos de DLP, as agências precisam de visibilidade e controle sobre as APIs usadas para se conectar com serviços externos de IA. Elas precisam de recursos para análise de dados e monitoramento de rede. E elas precisam de ferramentas como um agente de segurança de acesso à nuvem (CASB) e gateway seguro da web (SWG), que podem ajudar a controlar os fluxos de tráfego de IA.
Implemente defesas avançadas
Além de aumentar a produtividade dos funcionários e oferecer novas experiências digitais aos cidadãos, a IA pode transformar a segurança cibernética. Usando algoritmos avançados e aprendizado de máquina (ML), a IA pode ajudar as equipes de segurança a detectar ameaças emergentes, gerenciar vulnerabilidades e responder a incidentes automaticamente. A automação de tarefas tradicionalmente manuais não apenas aumenta a eficiência, mas também reduz o erro humano em operações críticas de segurança.
É claro que os invasores também estão aproveitando a IA para aprimorar suas operações maliciosas. Eles estão usando a IA para gerar campanhas de phishing mais sofisticadas, melhorar o reconhecimento e desenvolver malware avançado. Enquanto isso, eles estão visando vulnerabilidades nos sistemas de GenAI.
Para combater essas ameaças em evolução, as agências devem adotar uma abordagem proativa com relação à segurança. Elas devem não apenas aproveitar os recursos defensivos da IA, mas também levar em conta vulnerabilidades específicas da IA e vetores de ataque com algumas melhores práticas:
Selecionar modelos de IA seguros: à medida que as agências continuam a conectar seus sistemas com serviços de IA, elas devem garantir que os modelos de IA e os fornecedores de modelos atendam aos seus padrões de qualidade e segurança. Manter uma “lista de permissões” de modelos aprovados e aplicativos de IA pode reduzir o risco de que sistemas mal protegidos criem vulnerabilidades em seus ambientes.
Implementar ferramentas de segurança orientadas por IA: as ferramentas de segurança que usam ML ou IA podem fornecer inteligência contra ameaças avançada, ajudando as agências a identificar ameaças muito mais cedo do que as ferramentas tradicionais. Ao mesmo tempo, as ferramentas de IA e ML podem detectar vulnerabilidades em ambientes de TI para que as agências possam fortalecer suas defesas antes de incidentes.
Empregar monitoramento contínuo: as equipes de TI devem garantir que aplicativos e ambientes de IA não tenham sido comprometidos. O monitoramento contínuo do comportamento anômalo é fundamental para fornecer os primeiros sinais de ações maliciosas.
Avançando com segurança, com IA transformadora
A integração da IA nas organizações do setor público apresenta oportunidades significativas e desafios de segurança. O sucesso requer uma abordagem estruturada à segurança que evolui à medida que as organizações expandem o uso da IA. As organizações devem começar com controles de segurança fundamentais e aprimorar progressivamente sua postura de segurança à medida que seus recursos e integrações de IA amadurecem. Isso inclui manter um forte foco na proteção e governança de dados, implementar processos contínuos de monitoramento e avaliação e investir em educação e desenvolvimento de políticas contínuos.
A Cloudflare e sua nuvem de conectividade permite que os governos estaduais e locais implementem uma estrutura de segurança abrangente para IA com serviços inteligentes e nativos de nuvem em uma plataforma unificada. As ofertas da Cloudflare para o setor público reúnem serviços importantes de segurança, rede e desenvolvimento de aplicativos que atendem aos padrões rigorosos do FedRAMP. Com a Cloudflare, sua agência pode continuar avançando em sua jornada de IA e, ao mesmo tempo, manter o controle de dados confidenciais.
Este artigo é parte de uma série sobre as tendências e os assuntos mais recentes que influenciam os tomadores de decisões de tecnologia hoje em dia.
Saiba mais sobre esse assunto
Saiba mais sobre como apoiar a integração da IA na sua organização sem colocar dados confidenciais em risco no guia Garantir práticas seguras de IA: um guia para CISOs sobre como criar uma estratégia de IA escalável.
Autoria
Dan Kent — @danielkent1
Field CTO para o setor público, Cloudflare
Principais conclusões
Após ler este artigo, você entenderá:
As três principais preocupações relacionadas à IA dos CIOs do setor público
A típica jornada de IA em três estágios para governos estaduais e locais
Etapas críticas para proteger as implementações de IA
Recursos relacionados
Prioridades de segurança cibernética para governos estaduais e locais
Abordar as prioridades tecnológicas para CIOs dos estados em 2025