AI 모델의 오용을 방지하는 것은 가드레일, 데이터 유효성 검사, 프롬프트 유효성 검사, 데이터 손실 방지(DLP) 등의 아키텍처 보안 조치로 시작됩니다.
이 글을 읽은 후에 다음을 할 수 있습니다:
글 링크 복사
인공 지능(AI) 시스템은 강력하며 많은 시스템이 필수 비즈니스 프로세스에 내장되어 있습니다. 따라서 AI를 오용하면 애플리케이션과 인프라가 손상되고, 조직이 규제 준수 및 평판 위험에 노출되며, 극단적인 경우 생명이 위험에 처할 수도 있습니다. AI 모델의 오용을 방지하기 위해서는 AI 모델에 가드레일, 접근 제어, 프롬프트 유효성 검사, 기타 보안 조치가 갖추어져 있어야 합니다. AI 기반 애플리케이션 인프라에 휴먼인더루프(HITL)를 통합하는 등의 아키텍처 선택을 통해서도 오용 위험을 완화할 수 있습니다.
AI 오용은 모델 아키텍트가 의도한 목적 이외의 목적으로, 특히 악의적 또는 사기성 목적으로 AI 모델을 사용하는 것입니다. AI 모델의 효과가 계속 증가하면서 AI 오용 방지가 점점 더 중요해지고 있습니다. 많은 AI 전문가가 불량 국가와 테러리스트(이미 대의를 위해 AI를 이용하고 있을 가능성이 높은 당사자)가 AI를 사용할 가능성을 우려하고 있습니다.
대규모 언어 모델(LLM)에 대한 OWASP 상위 10가지 위험은 AI 모델이 악용될 수 있는 몇 가지 방식을 제시합니다. 예를 들어 프롬프트 삽입을 통한 모델 동작 조작, 민감한 데이터 유출, 그리고 하위 애플리케이션이 의존하는 LLM을 침해함으로써 공급망 취약성을 유발하는 사례 등이 있습니다.
이러한 위험 외에도 개인이 AI 모델을 사용하여 무기 제조 지침부터 유해한 노골적인 콘텐츠에 이르기까지 위험하거나 불법적인 콘텐츠에 액세스하거나 이를 생성하려고 시도할 수 있습니다.
AI에 의존하는 일상적인 사용자와 기업의 경우, 데이터, 브랜드, 고객을 보호하고 데이터 개인정보 보호 규정을 준수하려면 AI의 오용을 방지하는 것이 중요합니다.
공격자는 AI 모델을 사용하여 다양한 유형의 사이버 공격을 지원할 수 있습니다. 생성형 AI 모델과 AI 에이전트는 경우에 따라 zero-day 공격을 포함하여 소프트웨어 취약점을 찾을 수 있습니다. 맬웨어 프로그램도 작성할 수 있습니다. 이들은 피싱 메시지를 작성하여 소셜 엔지니어링 캠페인을 지원할 수 있으며, 피싱 대상을 식별할 수도 있습니다. 에이전틱 AI 애플리케이션은 장기적인 피싱 캠페인, 랜섬웨어 캠페인, 기타 사이버 공격을 자율적으로 운영하여 지능형 지속 위협(APT)과 조직화된 범죄 그룹을 강화할 수 있습니다.
보안 가드레일이 적용된 생성형 AI 모델이라도 프롬프트 삽입이나 탈옥과 같은 기법을 통해 악의적인 사용자가 모델을 자신들의 목적에 맞게 악용할 수 있습니다.
개인 및 그룹이 의도한 목적 이외의 용도로 AI 애플리케이션을 사용하는 것을 방지하려면, AI 애플리케이션 및 모델 개발자는 개발 및 배포 프로세스 전반에 걸쳐 여러 보안 조치를 통합해야 합니다.
모델을 프로덕션에 도입하기 전에 학습시킵니다. AI 오용을 방지하는 첫 단계는 학습 데이터를 검증하는 것으로, 모델의 학습 데이터에 편향된 데이터나 개인 데이터, 또는 예기치 않은 무단 동작을 가능하게 하는 숨겨진 백도어가 포함되지 않았는지 확인하는 것입니다.
모델을 개선하는 데 너무 많은 학습 데이터가 필요하므로 다양한 출처에서 데이터를 가져오는 경향이 있으며, 이로 인해 학습 데이터는 공급망 공격에 취약해집니다. 그러나 악의적인 당사자가 의도적으로 편향성이나 백도어를 도입할 목적으로 데이터 포이즈닝 공격을 사용하여 학습 데이터를 손상시킬 수도 있습니다. 데이터 포이즈너는 조직 외부의 데이터베이스에 직접 침입하거나 내부자 위협으로 학습 데이터를 손상시킬 수 있습니다.
데이터 유효성 검사 외에도 다음과 같은 보안 조치는 데이터 포이즈닝 공격을 방지하는 데 도움이 됩니다.
많은 조직에서 자체적으로 LLM을 학습시키지 않습니다. LLM 공급자의 다운스트림인 기업의 경우 데이터 포이즈닝으로부터 모델을 보호하기 위해 어떤 보안 조치를 취했는지 이해하는 것이 중요합니다.
LLM 공급자 고객은 일반적으로 검색 증강 생성(RAG)을 사용하여 사용 사례에 맞게 LLM 성능을 최적화합니다. RAG에 사용되는 내부 데이터 세트의 유효성을 검사하고 보호하는 것도 필수적입니다.
AI 가드레일은 AI 모델이 사전 정의된 경계 내에 있도록 보장하는 정책이자 제어입니다. 예를 들어 가드레일을 통해 모델이 이메일을 작성하도록 허용하거나, 피싱 이메일을 작성하지 못하도록 할 수 있습니다. 또는 모델이 함수를 코딩하는 것은 허용하지만, 취약점 익스플로잇은 작성하지 못하도록 막을 수도 있습니다.
가드레일은 (위에서 설명한 것처럼) 학습 데이터부터 애플리케이션 인프라에 이르기까지 모든 측면에 걸쳐 AI 모델을 방어해야 합니다.
공개 애플리케이션에 AI를 구축하는 대부분의 조직에서는 기존 AI 모델을 통합하고 있습니다. 이러한 경우 애플리케이션 및 인프라 가드레일은 가장 직접적인 제어 능력을 가진 영역입니다. 또한 모델 공급자 역시 자신의 모델에 구축한 가드레일을 이해하려고 노력해야 합니다.
AI 모델은 특히 모델을 속여 가드레일에서 벗어나게 하는 속임수 프롬프트인 프롬프트 삽입 공격에 취약합니다. 고의적인 공격 외에도, 불법, 위험, 노골적인 콘텐츠를 요청하는 등 일부 사용자 프롬프트는 모델의 서비스 약관을 위반할 수 있습니다.
프롬프트 유효성 검사는 프롬프트에 유해하거나 속임수를 쓰는 요청이 포함되지 않도록 하는 데 도움이 됩니다. API 스키마 유효성 검사가 API 스키마를 준수하지 않는 불법 요청을 차단하는 것처럼, 프롬프트 유효성 검사는 프롬프트에서 안전하지 않은 콘텐츠가 AI 모델에 도달하기 전에 식별하고 차단합니다.
휴먼인더루프(HITL)는 비지도 AI 모델 의사 결정의 위험을 줄일 수 있는 아키텍처 접근 방식 중 하나입니다. HITL은 인간 관리자를 AI 워크플로우의 일부로 유지하여 AI 모델이 내린 결정을 승인할 수 있도록 합니다. 모델은 직접적인 인간 피드백을 통해 학습될 수 있으며, 프롬프트에 대한 적절한 응답을 낮은 신뢰도로만 예측할 수 있을 때 인간의 도움을 요청하도록 구성될 수도 있습니다.
데이터 손실 방지(DLP)는 기밀 데이터가 보안 환경을 벗어나는 것을 막을 수 있는 기술 범주를 말합니다. DLP는 개별 API 요청과 AI 프롬프트를 살펴볼 수 있으며, 데이터 핑거프린팅, 키워드 매칭, 패턴 매칭 등의 다양한 기술을 사용하여 중요한 기밀 데이터를 식별하고 필요한 경우 요청을 차단할 수 있습니다.
또한 DLP는 특정 웹 페이지 또는 애플리케이션의 복사 및 붙여넣기를 제한하여 내부자가 외부 LLM에 내부 정보를 입력하는 것을 방지할 수 있습니다.
AI 오용은 조직이 그러한 오용이 어디에서 발생할 수 있고 어떤 영향을 미칠 수 있는지에 대해 완전한 가시성을 확보할 때에만 방지할 수 있습니다. AI 모델은 종종 많은 애플리케이션 개발자가 직면하는 섀도우 API 문제와 유사하게, 예상하지 못했거나 승인되지 않은 위치의 애플리케이션 인프라에 포함되는 경우가 많습니다. 섀도우 AI 감지는 조직이 AI 오용 위험이 어디에 존재하는지 파악할 수 있도록 도와주며, 그에 맞는 가드레일과 안전 조치를 마련할 수 있게 합니다.
조직에서는 Cloudflare AI Security Suite를 통해 섀도우 AI를 발견하고, 모델이 악용되지 않도록 보호하며, AI 에이전트 액세스를 보호하고, 데이터 노출을 차단할 수 있습니다. 이를 통해 조직에서는 보안을 유지하면서 AI 채택률을 가속화할 수 있습니다. AI Security Suite에 대해 자세히 알아보세요.
AI 오용은 개인 또는 그룹이 모델의 원래 설계를 벗어난 활동, 특히 속임수, 불법, 유해한 목표를 위한 활동에 모델을 사용할 때 발생합니다. 여기에는 이러한 도구를 사용하여 위험하거나 제한된 콘텐츠를 만들거나 사기성 계획을 조장하는 것이 포함됩니다.
악의적인 행위자는 생성형 AI를 활용해 맬웨어를 작성하고, 소프트웨어 취약점을 찾아내며, zero-day 익스플로잇을 발견할 수 있습니다. 또한 이러한 도구로 설득력 있는 피싱 메시지를 생성하고 장기적인 스피어 피싱 캠페인의 잠재적 대상을 식별하여 소셜 엔지니어링을 자동화합니다. 또한 공격자는 생성형 AI 모델에 대한 프롬프트 삽입 공격을 통해 기밀 정보를 발견할 수 있습니다.
보안은 학습 단계 중에 데이터에 편향성, 개인 정보, 숨겨진 백도어가 없는지 검증하는 것으로 시작합니다. AI 모델 개발자는 다양한 데이터 소스를 활용하고 데이터 접근에 최소 권한 원칙을 적용하며, 모델이 속임수 입력을 인식할 수 있도록 적대적 학습을 활용해야 합니다.
가드레일은 AI 행동을 사전 정의된 한도 내에서 안전하게 유지하는 데 필요한 필수 정책이자 제어 기능입니다.
프롬프트 유효성 검사는 속임수 또는 유해한 요청이 AI 모델에 도달하기 전에 식별하고 차단하는 필터 역할을 합니다. 이 프로세스는 사용자가 시스템의 안전 장치를 우회하도록 속이려는 프롬프트 삽입 공격을 차단하는 데 도움이 됩니다.