Cloudflare의 theNet

주 정부와 지방 정부를 위한 안전한 AI 도입

ChatGPT의 출시로 인공지능(AI)의 새로운 시대가 열렸으며, 기술 전문가는 물론 비전문가까지 모든 사용자가 강력한 도구에 접근할 수 있게 되었습니다. 오늘날 AI는 우리가 배우고, 일하고, 예술을 창조하고, 질병을 치료하는 방식 등 삶의 여러 측면을 획기적으로 바꿀 준비가 되어 있습니다.

공공 부문에서 주 및 지방 정부 기관은 AI 도구를 적극 도입하고 있습니다. 주, 지방, 연방 기관의 고위 전문가를 대상으로 한 최근 설문조사에 따르면, 51%가 AI 애플리케이션을 일주일에 여러 번 사용하는 것으로 나타났습니다.

주 및 지방 정부 기관 내에서는 다양한 AI 활용 사례를 탐색하고 있습니다. 이들은 양식 기반 프로세스를 자동화해 직원 생산성을 높이고, 생성형 AI(GenAI)가 지원하는 챗봇을 통해 디지털 경험을 개선하며, 사기 감지 기능을 강화하는 등의 방식으로 AI를 도입하고 있습니다.

AI는 정부 운영 방식과 시민 서비스 제공 방식을 바꿀 수 있는 강력한 잠재력을 지니고 있음은 분명합니다. 하지만 이처럼 강력한 기술은 동시에 새로운 위험도 수반합니다. 이러한 위험을 해결하려면 기관의 AI 사용이 증가함에 따라 함께 발전할 수 있는 종합적인 전략이 필요합니다. 각 기관은 초기 AI 사용에 대한 가시성을 확보하고 기본적인 보호 조치를 마련하는 것에서 더 나아가, 기관의 AI 기능을 기존 시스템과 통합하는 과정을 보호하고, 점점 더 정교해지는 위협에 대응할 수 있도록 AI 기반의 고급 방어 체계를 배포해야 합니다.


주 정부와 지방 정부의 3가지 주요 우려 사항

AI의 활용 사례가 점차 명확해지면서, 주 및 지방 정부의 책임자들은 AI가 지닌 막대한 잠재력을 인식하기 시작했습니다. 동시에, 제가 만난 많은 리더들은 AI의 현재 성숙도에 여전히 회의적인 입장을 보였습니다. 특히 CIO들은 다음의 세 가지 핵심 사안에 대해 우려를 나타냈습니다.

  1. 정확성: CIO들은 AI가 생성한 결과물의 신뢰성과 정확성에 의문을 제기하고 있으며, 이는 정당한 우려입니다. AI 결과물은 의도하지 않은 인한 오류는 물론, 고의적이고 악의적인 속임수 시도로 인해 왜곡될 수 있습니다.

    만약 정부 기관의 AI 모델이 공격자에 의해 오염된다면, 해당 기관은 시민에게 AI가 생성한 잘못된 정보를 의도치 않게 퍼뜨릴 수 있습니다. 예를 들어, 한 주 정부의 챗봇이 실업 급여나 의료 서비스에 대해 잘못된 정보를 제공한다고 상상해 보세요.

    마찬가지로, CIO는 부정확한 정보를 의사 결정의 근거로 사용하지 않기를 원합니다. 예를 들어, 정부 프로그램에서 AI를 사용하여 사기를 감지하는 경우, AI 관련 오류로 인해 정당한 청구 건을 면밀히 조사하는 데 불필요한 시간을 허비하거나 사기 행위를 감지할 기회를 놓치게 될 수 있습니다.

  2. 개인정보 보호: CIO들은 시민의 민감한 정보가 노출될 가능성에 대해 정당한 우려를 품고 있습니다. 특히 직원이 AI 모델 학습을 위한 시스템에 시민 데이터나 파일을 의도치 않게 입력할 경우에 문제가 됩니다. 예를 들어, 시민의 건강 데이터를 분석해 보고서를 작성하기 위해 AI 도구를 사용하는 과정에서 해당 AI 모델이 민감한 정보를 수집하고, 이후 다른 맥락에서 해당 데이터를 노출할 수 있습니다.

  3. 보안: CIO들은 AI 활용이 심화될수록 데이터와 모델이 다양한 방식으로 손상될 수 있다는 점에 대해 합리적인 우려를 가지고 있습니다. 예를 들어, 공격자는 시민 대상의 AI 챗봇에 대한 프롬프트를 조작해 모델로 하여금 허위 정보를 생성하게 하거나, 백엔드 시스템에 접근하려 시도할 수 있습니다. 정부 기관은 시민 데이터뿐만 아니라 기관 시스템을 보호하기 위해 AI 생태계를 위협하는 다양한 공격에 대응할 수 있는 방안이 필요합니다.

이러한 우려에도 불구하고, 대다수 공공 부문 조직은 AI 사용이 초래할 수 있는 영향을 해결하기 위한 확실한 계획이 마련되어 있지 않습니다. 그럼에도 불구하고 일부 기관은 이미 AI 배포를 추진하고 있으며, 이로 인해 언론에 오르내릴 만큼의 데이터 유출이나 허위 정보 확산에 노출되고 있는 실정입니다.


AI 도입 여정 설정하기

많은 주 및 지방 정부 기관은 이미 시범 프로그램이나 제한적인 AI 도구 배포를 통해 AI 여정을 시작했습니다. AI를 적극적으로 도입하지 않은 조직 내에서도, 직원 개인이나 팀이 쉽게 접근 가능한 AI 도구를 활용하고 있을 수 있으며, 이는 “섀도우 AI”로 알려진 현상입니다. 이러한 사용이 공식적으로 승인되었는지 여부와 관계없이 대부분의 기관에 AI가 존재하는 만큼, AI 보안 전략을 수립하고 실행하는 것이 매우 중요합니다.

이 전략은 AI 여정의 각 단계에 대응하는 요소를 포함해야 합니다. 공공 부문 조직과 협력하는 과정에서 저는 일반적으로 기관들이 다음 세 가지 주요 AI 사용 단계를 거치는 것을 보았습니다.

  1. 소비: 초기에 기관은 AI를 소비합니다. 이 단계에서는 모델, 애플리케이션, 생성형 AI 서비스를 포함한 도구들을 실험합니다. 이 단계에는 공식적으로 승인된 AI 사용뿐만 아니라 섀도우 AI의 사용도 포함됩니다.

  2. 통합: 이후 기관은 AI를 기존 데이터 및 시스템과 통합하기 시작합니다. 이 통합을 통해 생산성 향상이나 디지털 경험 개선 등 AI의 진정한 가치를 실현하기 시작합니다.

  3. 고급 방어: 기관은 여정의 처음 두 단계에서 보안 기능을 일부 구현하는 경우가 많습니다. 하지만 AI 도입이 진행됨에 따라 보안 태세도 강화해야 합니다. 점점 더 정교해지는 AI 지원 위협에 대응하기 위해, 기관은 고급 보안 기능과 AI 도구를 도입해야 합니다.

조직은 AI 활용의 각 단계에 맞는 전략을 구성해야 합니다. AI 소비 단계에서 데이터를 보호하기 위한 기본 방어 체계를 구축하는 것이 첫걸음입니다.


AI 보안의 기준 설정

기준 수립의 핵심은 조직 전반의 AI 사용에 대한 종합적인 가시성을 확보하고, 견고한 교육 및 정책 프레임워크를 구축하는 데 있습니다. 이 기준에서 특히 중요한 요소는 대규모 언어 모델(LLM)의 데이터 수집과 관련된 사이버 위협을 해결하는 것입니다. LLM은 모델을 개선하기 위해 지속적으로 데이터를 수집하며, 기관은 다음의 두 가지 주요 데이터 수집 경로에 특히 주의를 기울여야 합니다.

  • 웹 스크래핑: 많은 LLM은 공개 웹 사이트에서 정보를 자동으로 수집하고 처리합니다. 영리 기업의 경우, 웹 스크래핑으로 인해 자사의 지적 재산이 모델 학습에 활용될 수 있으므로 공공 부문 조직보다 이에 더 큰 우려를 가질 수 있습니다. 하지만 정부 기관 역시 웹 사이트에 게시한 모든 콘텐츠가 AI 모델의 데이터로 수집될 수 있다는 점을 인지해야 합니다.

  • AI 도구와의 상호 작용: 직원이 생성형 AI 서비스와 같은 AI 도구를 사용할 때, 프롬프트나 질의를 통해 민감한 정보를 무심코 노출할 수 있습니다. 데이터 세트를 분석하거나 시각화를 생성하도록 AI 도구에 요청하는 등의 겉보기에 무해한 행동조차 외부 LLM 시스템으로 민감한 데이터를 전송하는 결과를 초래할 수 있습니다.

이러한 위험에 대처하려면 기준 수준의 보호 조치가 필요합니다. 기관에서는 시민 데이터를 안전하기 보호하기 위해 명확한 AI 사용 정책, 강력한 데이터 보호 제어, 철저한 보안 조치를 수립해야 합니다. 특히 기본 전략은 다음 요소에 중점을 두어야 합니다.

  • 가시성 및 인식: 기관은 어떤 LLM 및 AI 도구가 사용되고 있으며, 이를 누가 사용하고 있는지 파악해야 합니다. 또한 어떤 AI 봇이 기관의 웹 사이트를 스크래핑하도록 허용할지 결정하고, 양질의 봇과 악성 봇을 구분하기 위해 봇 관리 도구를 활용해야 합니다.

  • 교육 및 정책: 직원들에게 AI 도구의 작동 방식과 중요한 데이터 노출을 방지하는 방법을 교육하는 것이 매우 중요합니다. 예를 들어, 생성형 AI 도구의 프롬프트에 민감한 데이터를 입력하지 않는 방법을 학습해야 합니다. 또한, 기관은 직원의 실수로 인해 보안 및 프라이버시 문제가 발생할 가능성을 줄일 수 있는 정책을 수립해야 합니다. AI 환경은 끊임없이 변화하므로, 기관은 교육 내용을 지속적으로 업데이트하고 정책을 정교하게 조정해야 합니다.

  • 데이터 개인정보 보호 및 데이터 손실 방지(DLP): AI 사용 정책을 수립하는 것 외에도, 기관은 개인 식별 정보(PII) 및 기타 민감한 시민 데이터를 AI 사용 중 유출되지 않도록 방지하는 DLP 도구를 구현해야 합니다.

  • Zero Trust: Zero Trust 네트워크 액세스 솔루션을 구현하면 섀도우 AI를 제어하는 데 도움이 되는 동시에, 사용자가 검증되고 허용된 AI 도구에만 접근할 수 있도록 보장할 수 있습니다.


AI 통합 보호

AI 여정의 다음 단계에서 조직은 AI 도구와 모델을 기존 시스템 및 프로세스에 통합하기 시작합니다. 주 및 지방 정부 기관에서는 AI 도구를 양식을 처리하는 시스템에 연결하거나, 시민 포털에 AI 기반 챗봇을 통합할 수 있습니다.

이러한 통합 과정은 기술적인 과제를 수반할 수 있습니다. 예를 들어, 조직의 기존 데이터가 AI 도구에 적합한 방식으로 정제되거나 구조화되어 있지 않을 수 있습니다. 동시에 많은 AI 도구가 조직의 직접적인 통제 범위 밖에서 작동하기 때문에 통합하면 보안 위험이 발생할 수 있습니다.

이러한 문제를 해결하려면 데이터 준비와 데이터 개인정보 보호 등 몇 가지 중요한 영역에 집중해야 합니다.

  • 데이터 준비: AI 도구에 사용할 데이터를 준비하려면, 팀은 데이터를 라벨링하고 분류해야 합니다. 팀의 분류를 기반으로 보안 제어를 구현할 수 있으므로, 이 프로세스는 해당 데이터를 보호하는 데도 도움이 됩니다.

  • 데이터 개인정보 보호: 기관은 데이터 개인정보 보호 프레임워크와 함께, 내부 시스템과 외부 AI 서비스 간에 전송되는 데이터를 보호할 수 있는 다양한 보안 기능을 구현해야 합니다. DLP 기능 외에도, 기관은 외부 AI 서비스와 연결하는 데 사용되는 API에 대한 가시성과 제어 능력이 필요합니다. 또한 네트워크 분석 및 모니터링 기능을 필요로 합니다. 그리고 AI 트래픽 흐름을 제어할 수 있도록 클라우드 액세스 보안 브로커(CASB)보안 웹 게이트웨이(SWG)와 같은 도구가 필요합니다.


고급 방어 체계 구현

AI는 직원 생산성을 높이고 시민에게 새로운 디지털 경험을 제공하는 것 외에도, 사이버 보안을 혁신할 수 있습니다. 고급 알고리즘과 머신 러닝(ML)을 사용하면 AI는 보안팀이 새로운 위협을 감지하고, 취약점을 관리하며, 사고에 자동으로 대응하는 데 도움이 될 수 있습니다. 전통적인 수작업 중심 작업을 자동화함으로써 운영 효율성을 높일 뿐만 아니라, 중요한 보안 작업에서의 인적 오류도 줄일 수 있습니다.

물론 공격자들 또한 AI를 활용해 악성 행위를 고도화하고 있습니다. 공격자는 AI를 통해 더 정교한 피싱 캠페인을 제작하고, 정찰 활동을 강화하며, 첨단 맬웨어를 개발하고 있습니다. 동시에 이들은 생성형 AI 시스템의 취약점을 표적으로 삼고 있습니다.

이처럼 진화하는 위협에 대응하려면, 기관은 보안에 있어 사전 예방적 접근 방식을 채택해야 합니다. 기관은 AI의 방어 기능을 활용하는 것을 넘어, AI 특유의 취약점과 공격 벡터를 고려한 몇 가지 모범 사례를 따라야 합니다.

  • 안전한 AI 모델 선정: 기관은 시스템을 AI 서비스와 계속 연결하는 과정에서 AI 모델과 모델 벤더가 품질 및 보안 표준을 충족하는지 확인해야 합니다. 승인된 모델 및 AI 애플리케이션의 "허용 목록"을 유지하면, 보안이 미흡한 시스템이 기관 환경에 취약점을 일으킬 위험을 줄일 수 있습니다.

  • AI 기반 보안 도구 구현: ML이나 AI를 활용한 보안 도구는 고급 위협 인텔리전스를 제공하여, 기존 도구보다 훨씬 이른 단계에서 위협을 식별할 수 있도록 지원합니다. 동시에 AI 및 ML 도구는 IT 환경 내의 취약점을 탐지해 기관이 사고 발생 이전에 방어 체계를 강화할 수 있도록 합니다.

  • 지속적인 모니터링 사용: IT 팀은 AI 애플리케이션과 환경이 손상되지 않았는지 확인해야 합니다. 비정상적인 행동을 지속적으로 모니터링하는 것은 악의적인 행동의 조기 신호를 포착하는 데 중요합니다.


혁신적인 AI를 통해 보안을 갖춘 미래로 나아가기

공공 부문 조직에 AI를 통합하는 과정은 상당한 기회를 제공하는 동시에 보안 관련 문제도 발생할 수 있습니다. 성공적인 도입을 위해서는, 조직의 AI 활용 범위가 확장됨에 따라, 진화하는 보안에 대한 구조화된 접근 방식이 필요합니다. 조직은 기본적인 보안 통제에서 시작하여, AI 역량과 통합 수준이 성숙해짐에 따라 보안 태세를 점진적으로 강화해야 합니다. 여기에는 데이터 보호 및 거버넌스에 대한 강력한 집중, 지속적인 모니터링 및 평가 프로세스의 구현, 지속적인 교육 및 정책 개발에 대한 투자가 포함됩니다.

Cloudflare의 클라우드 연결성은 지능형 클라우드 네이티브 서비스를 통합된 플랫폼으로 제공하여, 주 및 지방 정부가 AI를 위한 포괄적인 보안 프레임워크를 구축할 수 있도록 지원합니다. 공공 부문용 Cloudflare 서비스는 FedRAMP의 엄격한 기준을 충족하는 핵심 보안, 네트워킹, 애플리케이션 개발 서비스를 결합합니다. Cloudflare와 함께라면, 귀 기관은 AI 여정을 지속적으로 추진하면서도 민감한 데이터에 대한 제어 능력을 유지할 수 있습니다.

이 글은 오늘날의 기술 의사 결정자에 영향을 주는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.


이 주제에 관해 자세히 알아보세요.

조직 내 민감한 데이터를 위험에 노출시키지 않으면서 AI 통합을 지원하는 방법에 대해 자세히 알아보려면 안전한 AI 관행 보장: 확장 가능한 AI 전략 수립 방법에 대한 CISO 가이드를 참조하세요.

작성자

Dan Kent — @danielkent1
Cloudflare 공공 부문 필드 CTO



핵심 사항

이 글을 읽고 나면 다음을 이해할 수 있습니다.

  • 공공 부문 CIO의 AI 관련 3가지 우려 사항

  • 주 및 지방 정부를 위한 일반적인 AI 여정 3단계

  • AI 구현안전하게 보호하기 위한 핵심 단계


관련 자료


가장 인기있는 인터넷 인사이트에 대한 월간 요약을 받아보세요!