AI가 소프트웨어 구매를 근본적으로 변화시키는 이유
AI 관련 위험을 줄이는 성공 전략 구축
눈 깜짝할 사이에, AI는 갑자기 모든 곳에 존재하게 되었습니다. 조직에서는 생성형 AI(GenAI)를 사용하여 24시간 고객 지원을 제공하고, 맞춤형 쇼핑 추천을 마련하며, 소프트웨어 개발을 가속화하고, 마케팅 콘텐츠를 제작하는 등 다양한 작업을 합니다.
오늘날 AI는 컴퓨터가 비즈니스 세계에 처음 도입되었을 때 만큼이나 영향력이 있고 파괴적입니다. 기업은 AI를 채택하지 않으면 빠르게 시대 에 뒤질 수 있습니다.
따라서 CIO와 CISO는 AI 도입을 시작해야 한다는 엄청난 압박을 받고 있습니다. 조직에서는 새로운 AI 기반 소프트웨어 솔루션을 채택하고 직원에게 AI 도구에 대한 액세스 권한을 부여해야 합니다. 하지만 동시에 기술 리더들은 AI 때문에 새로운 위험이 초래된다는 점을 이해합니다. 많은 기술 리더들이 정책과 보호 기능을 빠르게 구현하여 중요한 정보를 보호하고, 섀도우 AI를 방지하며, 잘못된 정보가 생성될 가능성을 줄이고 있습니다.
기술 리더는 AI 활성화와 사용 관리 사이에서 적절한 균형을 잡으려고 노력하지만, 소프트웨어 구매 및 갱신 프로세스를 변경해야 합니다. 소프트웨어 구매가 게임처럼 보이는 때가 있다면, AI가 규칙을 바꾸고 있는 것입니다. 기존의 규칙을 그대로 따르면 조직이 위험에 처할 수 있습니다. 그러한 위험을 줄이려면 CIO와 CISO는 소프트웨어 계약, 애플리케이션 아키텍처, 소프트웨어 벤더 자체에 대한 검토를 강화해야 합니다.
과제 #1: 소프트웨어 계약 변화
소프트웨어 벤더가 점점 더 많은 제품에 AI를 통합함에 따라 CIO와 CISO는 소프트웨어 갱신 처리 방법을 바꾸어야 합니다. 이미 구매한 소프트웨어의 경우 마스터 서비스 계약(MSA)에 서명하고 특정 조건에 동의했을 것입니다. 하지만 이러한 조건 중 일 부는 다른 문서와 하이퍼링크로 연결되어 있습니다. 소프트웨어가 업데이트되면 벤더가 하이퍼링크된 문서의 내용을 변경할 수 있으며, 귀사에서는 MSA를 지속해서 검토하지 않는 한 알 수 없습니다.
문제는 애플리케이션에 새로운 AI 기능이 통합되면 AI 및 데이터 거버넌스 정책과 충돌할 수 있다는 것입니다. AI로 강화된 소프트웨어를 제공하기 위한 경쟁에서 기존 소프트웨어 벤더가 귀사의 정책과 보안을 위험에 빠뜨릴 수 있습니다.
과제 #2: 다중 테넌트 및 모델 구축
SaaS 솔루션을 평가할 때 저는 벤더가 멀티 테넌트를 어떻게 처리하는지 항상 주의 깊게 파악합니다. 구체적으로 공격자가 제 데이터로 무엇을 할 것인지 알고 싶습니다. 제 데이터가 다른 사람의 데이터와 완전히 분리될까요?
이제 벤더가 AI를 자체 제품에 통합하고 있으므로 벤더의 데이터 처리 방식과 관련하여 추가적인 보안 문제가 있을 수 있습니다. 첫째, 많은 벤더가 자체 AI 서비스를 호스팅하지 않습니다. 자체 AI 서비스를 퍼블릭 클라우드에서 실행하고 있을 수도 있습니다. 그리고 해당 클라우드 벤더가 데이터를 적절하게 보호하지 못할 수도 있습니다.
둘째, 소프트웨어 벤더가 모델의 위치와 관계없이 고객의 데이터를 사용하여 AI 모델을 학습시킬 수 있습니다. 이제 저는 소프트웨어 공급업체가 각자의 영역에서 AI가 고객에게 어떤 혜택을 제공할 수 있는지에 대한 전문가가 되기를 원합니다. 예를 들어, 어떤 벤더가 AI를 활용한 인사 관리 애플리케이션을 가지고 있다면, 저는 그 벤더가 그런 종류의 소프트웨어를 제공하는 데 있어 세계 최고가 되기를 바랍니다. 그리고 최고의 벤더는 자체의 모델 학습에 필요한 데이터를 가장 많이 보유한 벤더가 됩니다.
하지만 저는 그들이 모델 학습에 중요한 데이터를 사용하는 것을 원하지 않습니다. 일부 벤더는 의도적으로 여러 고객의 데이터를 혼합하여 모델을 학습시킬 수 있습니다. 하지만 최소한 소프트웨어를 구매하기 전에, 제 모든 데이터가 벤더의 모델을 학습시키는 데 사용되기 전에 완전히 익명화될 것이라는 확신이 있어야 합니다.
과제 #3: AI 벤더의 (충분하지 않은) 수명
프로 스포츠 리그에서 팀이 계속 늘어나는 것처럼 새로운 AI 소프트웨어 벤더가 항상 등장하고 있습니다. 새로운 AI 기능을 도입하는 잘 알려진 대규모 기술 회사 외에도 AI 기반 소프트웨어나 도구에만 중점을 두는 AI 스타트업이 빠르게 늘어나고 있습니다. OpenAI가 확고하게 자리 잡은 업체처럼 느껴지는 것을 보면, 시장은 엄청난 속도로 발전하고 있습니다.
저는 레거시 애플리케이션 벤더와 유사한 기준을 사용하여 이러한 신규 벤더를 평가합니다. 예를 들어, 이러한 벤더가 제 데이터를 어떻게 보호하고 다른 고객 데이터와 분리하는지 알기를 원합니다.
하지만 저는 이러한 벤더의 수명이 몹시 우려되기도 합니다. AI 회사는 아주 빠르게 탄생하고 사라지고 있습니다. 스타트업으로부터 AI 소프트웨어를 구매하기 전에, 저는 그 회사가 몇 년 후에 존재할 수나 있을지 알고 싶습니다. 회사가 인수되거나 폐업하면 제 데이터는 어떻게 될까요?
빠르게 변화하는 소프트웨어 구매를 위한 전략
이 이야기에 나오는 악당은 IT 환경의 일부 측면은 동일하게 유지될 것이라는 가정입니다. 하지만 그 어떤 측면도 동일하게 유지되지는 않을 것입니다. AI는 여러분이 이미 구매해 몇 년 동안 사용해 온 소프트웨어 애플리케이션을 포함하여 모든 것을 근본적으로 바꾸고 있습니다. 따라서 소프트웨어를 갱신하고 새로운 AI 기반 도구를 구매하면 구매 프로세스 측면도 달라져야 합니다. 다음 6가지 모범 사례가 핵심입니다.
변화하는 MSA 모니터링
AI 시대에는 소프트웨어를 갱신하려면 더 철저한 주의가 필요합니다. 먼저, AI를 구현하고 있는 귀사의 핵심 벤더와 대화해보세요. 직접 물어보세요. 제 데이터를 어떻게 처리하고 있나요? 제 데이터가 다른 고객의 데이터와 동일한 환경에 저장되고 있나요?
이미 구매한 소프트웨어의 라이선스를 갱신할 때는 MSA에서 하이퍼링크로 연결되는 업데이트된 약관을 확인하고 검토하세요. 새로 도입된 용 어가 AI 및 데이터 거버넌스 정책과 상충되지 않는지 확인하세요.
기존 애플리케이션 중 일부의 경우 귀사에서 계약을 검토한 적이 없을 수 있습니다. 아주 소규모 배포로 시작했다가 필요하지 않다고 판단하셨을 수도 있습니다. 하지만 배포를 확대하고 기업 계약으로 전환한다면 그러한 검토에 시간을 투자해야 합니다. 소프트웨어 배포 규모가 특정 임계값에 도달하면 이용 약관을 감사하도록 요구하는 정책을 수립할 수 있습니다.
벤더와 직접 소통하고 업데이트된 MSA를 검토하는 이 작업에는 상당한 리소스가 필요할 수 있습니다. 실제로, 일부 조직에서는 수백 개의 SaaS 애플리케이션을 사용합니다. 하지만 변화하는 계약을 최신 상태로 유지하는 방법을 찾는 것은 보안을 유지하는 데 아주 중요합니다.데이터 보호에 대해 물어보세요
데이터가 어떻게 저장되고 관리되는지 이해하는 것 외에도 데이터가 어떻게 보호되는지 물어보세요. 어떤 소프트웨어 벤더는 각 고객을 위해 애플리케이션 인스턴스를 배포한 다음, 모든 범위의 애플리케이션 보안 서비스를 사용하여 각 인스턴스를 보호할 수 있습니다.
다른 벤더는 모든 고객의 경우에 하나의 대규모 데이터베이스를 사용할 수 있습니다. 이는 위험 신호를 초래할 것입니다. 그러나 데이터를 충분히 암호화하거나 토큰화한다는 것이 입증되고 중요한 정보가 노출되지 않도록 할 수 있다면 고객은 해당 소프트웨어를 계속 사용하고 싶을 것입니다.벤더 우선순위 평가
AI 도구를 제공하는 신규 벤더의 경우, 해당 벤더의 전략적 우선순위를 평가하여 해당 벤더가 우수하고 조직에 장기적으로 적합한지 판단합니다. 귀사에서 스타트업의 소프트웨어를 사용하고 있는데 해당 제품에 문제가 있다고 가정해 보겠습니다. 그런데 그 스타트업에서 방금 새로운 자금을 조달했다는 소식을 듣게 됩니다. 그 돈을 어떻게 사용할 계획인지 물어보세요. 엔지니어링이 아니라 영업이 답이라면 다른 곳을 찾아보세요.커뮤니티 내에서 메모를 비교해 보세요
모든 MSA를 검토하고 새로운 벤더를 평가하는 작업 부하를 줄이는 한 가지 방법은 다른 기술 리더와 메모를 비교하는 것입니다. 동료들에게 다음과 같이 물어보세요. 여러 벤더에 걸쳐 볼 수 있는 이용 약관 추세는 어떤가요? 변경 사항이 괜찮은가요?
마찬가지로, 고려하고 있는 AI 전용 벤더에 대한 인사이트도 찾아보세요. 다른 리더에게 다음과 같이 질문해보세요. 이 회사가 폐업하더라도 귀사의 데이터가 계속 보호될 수 있다고 얼마나 확신하시나요?떠날 준비를 하세요
AI 기반 소프트웨어로 인한 위험을 측정하는 것은 아주 어려울 수 있습니다. 따라서 소프트웨어를 갱신하든 새로운 애플리케이션을 평가하든, 정확하게 측정할 수 없는 위험을 얼마나 편안하게 받아들일 수 있는지 자문해 보세요.
일부 경우에는 잠재적인 위험이 잠재적인 가치보다 더 크다고 판단할 수도 있습니다. AI 기능을 통합함으로써 허용될 수 없는 위험을 초래하는 소프트웨어의 사용을 중단할 수 있습니다. 데이터 보안이나 벤더의 미래에 대해 확신이 없어서 새로운 AI 애플리케이션을 채택하지 않기로 결정할 수도 있습니다.
중간 지점도 있습니다. 예를 들어, 스타트업이 성숙해질 때까지 기다렸다가 소프트웨어를 구매할 수 있습니다. 또는 일부 기능이나 귀사 데이터의 일부를 축소하여 애플리케이션의 가치를 증명하도록 할 수도 있습니다.구매 대신 구축을 고려하세요
AI로 강화된 제품을 제공하는 많은 SaaS 벤더가 광범위한 고객에게 도달하려고 합니다. 따라서 그러한 벤더는 잠재 고객 전체의 최소 공통 분모를 고려하여 제품을 설계합니다.
하지만 저는 CISO로서 우리 조직에 구체적으로 도움이 될 수 있는 소프트웨어를 원합니다. 예를 들어, 저는 직원들의 인지 부하를 줄여 조직 내에서 더 생산적이고 효율적으로 일할 수 있는 AI 도구를 사용하고 싶습니다. 그러한 도구는 제 데이터를 활용하여 전체 비즈니스가 더 잘 작동하는 데 도움이 되어야 합니다. 문제는 우리 조직의 정확한 요구 사항을 충족하는 상용 소프트웨어를 찾기가 어렵다는 것입니다.
따라서 어떤 경우에는 구매하는 것보다 구축하는 것이 더 합리적일 수 있습니다. 위험을 최소화하면서 비즈니스에 도움이 되고 경쟁력 있는 가치를 제공할 수 있는 기능을 개발할 수 있다면 구축이 더 나은 방법일 수 있습니다. 적절한 개발자 플랫폼은 이러한 AI 애플리케이션의 개발을 가속화하는 데 도움이 될 수 있습니다.
소프트웨어 구매 시 AI 파괴적 혁신에 대비하세요
우리는 모두 AI를 채택하고 조직을 변화시켜야 한다는 압박감을 느낍니다. 소프트웨어 벤더는 이러한 변환을 촉진하고자 하며 새로운 AI 기능을 자체 제품에 빠르게 통합하고 있습니다. 따라서 소프트웨어 구매 담당자들은 항상 경계해야 합니다. 소프트웨어 구매에 대한 규칙이 바뀌고 있는 듯합니다. 그리고 오늘날에는 소프트웨어 혁신이 보안에 어떤 영향을 미치는지 더 신중하게 평가해야 합니다.
모든 애플리케이션이 감수할 수 있는 위험의 정도에 비해 충분한 가치를 제공하지는 않습니다. 그러한 경우에는 AI 애플리케이션을 구축하는 것이 올바른 접근 방식이 될 수 있습니다. Cloudflare 개발자 플랫폼은 AI 애플리케이션을 구축하고 제공하는 프로세스를 간소화하는 데 도움이 될 수 있습니다. Cloudflare Workers AI를 사용하면 사용자와 가까운 에지에서 AI 애플리케이션을 개발하고 실행할 수 있습니다. 한편, AI Gateway는 사람들이 AI 애플리케이션을 사용하는 방식에 대한 가시성과 제어 기능을 제공합니다.
일부 기업용 소프트웨어를 현상 유지하고 싶더라도, 레거시 애플리케이션에서도 AI 기능이 나타나기 시작할 수 있으며, 그에 따라 구매 프로세스를 변경해야 할 수도 있다는 점을 인식해야 합니다. 위험을 완화하려면 소프트웨어 구매에 대한 AI의 파괴적 혁신에 대비하는 것이 필수적입니다.
이 글은 오늘날의 기술 의사 결정자에 영향을 주는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.
이 주제에 관해 자세히 알아보세요.
안전한 AI 관행 보장: 확장 가능한 AI 전략 수립 방법에 대한 CISO 가이드 전자책에서 AI 때문에 비즈니스 방식이 어떻게 바뀌고 있는지, 그리고 AI를 스마트하고 안전하게 활용하는 방법은 무엇인지 자세히 알아보세요.
작성자
Mike Hamilton – @mike-hamilton-us
Cloudflare CIO
핵심 사항
이 글을 읽고 나면 다음을 이해할 수 있습니다.
AI 기능이 기존 계약 사항에 암암리에 추가되고 있습니다
소프트웨어 구매 또는 갱신 시 고려해야 할 6가지 모범 사례
AI 및 데이터 거버넌스 정책의 규제 준수를 보장하는 방법