인공 지능(AI) 할루시네이션이란?

인공 지능(AI) 할루시네이션이란?

인공 지능(AI) 할루시네이션은 생성형 AI 모델의 출력에서 발견되는 허위 또는 부정확성을 의미합니다. 이러한 오류는 논리적으로 보이거나 그렇지 않으면 올바른 콘텐츠 내에 숨겨진 경우가 많습니다. 생성형 AI와 대규모 언어 모델(LLM)의 사용이 보편화되면서 많은 AI 할루시네이션 사례가 관찰되었습니다.

"할루시네이션"이라는 용어는 은유적입니다. AI 모델이 실제로 정신적으로 불안정한 사람처럼 환각으로 고통받는 것은 아닙니다. 대신 프롬프트에 대한 응답으로 현실과 일치하지 않는 예상치 못한 결과를 만들어냅니다. 패턴을 잘못 식별하거나, 컨텍스트를 잘못 이해하거나, 제한적이거나 편향된 데이터를 활용하여 예상치 못한 결과를 내놓을 수 있는 것입니다.

AI 할루시네이션에 대해 기록된 몇 가지 예는 다음과 같습니다.

• AI 모델이 Tesla의 분기별 결과를 직접 작성하고, 이와 일관되게 허위 재무 정보가 포함된 기사를 생성하도록 프롬프트로 지시를 받았습니다.
• 변호사가 LLM을 사용하여 법적 사건에서 뒷받침할 자료를 만들었지만, LLM이 존재한 적 없는 다른 법적 사건에 대한 참조를 생성했습니다.
• Google의 Gemini 이미지 생성 도구가 2024년 일정 기간 동안 역사적으로 부정확한 이미지를 정기적으로 생성했습니다.

AI에는 많은 사용 사례와 실제 애플리케이션이 있지만, 많은 경우 AI 모델이 할루시네이션을 나타내는 경향이 있으므로 사람의 감독 없이는 모델을 완전히 신뢰할 수 없습니다.

생성형 AI는 어떻게 작동할까요?

모든 AI 모델은 학습 데이터와 알고리즘의 조합으로 구성됩니다. AI의 맥락에서 알고리즘은 컴퓨터 프로그램이 특정 속성에 가중치를 두거나 가치를 부여하는 방식을 배치하는 일련의 규칙입니다. AI 알고리즘에는 속성의 가치를 결정하는 방법에 대한 규칙인 수십억 개의 매개변수가 포함되어 있습니다.

생성형 AI는 수백만 개(또는 수십억 개, 수조 개)의 예제를 통해 학습하므로 학습 데이터가 필요합니다. 이러한 예제에서 생성형 AI 모델은 일반적으로 데이터를 벡터로 저장하는 벡터 데이터베이스를 사용하여 데이터 세트 내 항목 간의 관계를 식별하는 방법을 학습하므로 모델이 데이터 항목 간의 관계를 정량화하고 측정할 수 있습니다. ("벡터"는 단어, 이미지 등의 비수학적 유형을 포함한 다양한 데이터 유형을 숫자로 표현한 것입니다.)

모델 학습이 완료되면 수신한 프롬프트에 따라 출력을 계속 개선합니다. 또한 알고리즘의 매개변수를 계속 변경하거나 Low-rank adaptation(LoRA)과 같은 방법을 사용하여 새로운 용도에 맞게 모델을 신속하게 조정하여 보다 구체적인 용도로 모델을 미세 조정합니다.

이를 종합하면, 본 결과는 관찰한 샘플을 기반으로 텍스트나 이미지를 생성함으로써 인간의 프롬프트에 응답할 수 있는 모델입니다.

그러나 인간의 프롬프트는 복잡성이 매우 다양하며, 가능한 모든 프롬프트를 대비할 수는 없으므로 모델마다 예상치 못한 동작이 발생할 수 있습니다. 또한 광범위한 학습과 미세 조정 후에도 모델이 개념과 항목 간의 관계를 오해하거나 잘못 해석할 수 있습니다. 예상치 못한 프롬프트와 잘못된 패턴 인식은 AI 할루시네이션으로 이어질 수 있습니다.

AI가 할루시네이션을 일으키는 원인은?

학습 데이터의 출처: AI 모델은 사람이 모두 검토하기에 불가능할 만큼 많은 데이터를 필요로 하기 때문에 학습 데이터를 검토하기가 어렵습니다. 검토되지 않은 학습 데이터는 정확하지 않거나 특정 방향으로 너무 높게 가중치가 부여될 수 있습니다. 연하장을 쓰도록 학습되었지만 학습 데이터 세트가 개발자도 모르게 대부분 생일 카드로 이루어져 있는 경우를 상상해 보세요. 결과적으로 "건강 회복"을 비는 카드를 작성하라는 프롬프트를 제공했는데도 맥락을 부적절하게 파악해서 행복하거나 재미있는 메시지를 생성할 수도 있는 것입니다.

생성형 AI 디자인의 고유한 한계: AI 모델은 확률을 사용하여 어떤 단어나 시각적 요소가 함께 나타날지 '예측'합니다. 통계 분석은 그럴듯해 보이는 콘텐츠, 즉 사람이 이해할 가능성이 높은 콘텐츠를 생성하는 데에는 도움이 될 수 있습니다. 하지만 통계 분석은 수학적 과정이므로 언어와 의미의 일부 미묘한 차이를 놓치면서 할루시네이션을 일으킬 수 있습니다.

물리적 세계에 대한 직접적인 경험 부족: 오늘날의 AI 프로그램은 외부 현실에서 무언가가 "참"인지 "거짓"인지 여부를 감지할 수 없습니다. 예를 들어 인간은 과학 원리가 참인지 거짓인지 결정하기 위한 실험을 수행할 수 있지만, 현재 AI는 물리적 우주가 아니라 기존 콘텐츠에 대해서만 스스로 학습할 수 있습니다. 따라서 특히 자체 응답에서 정확한 데이터와 부정확한 데이터를 구분하는 데 어려움을 겪습니다.

맥락을 이해하는 데 어려움: AI는 문자 그대로의 데이터만 보고 문화적, 감정적 맥락을 이해하지 못할 수 있으므로 관련 없는 응답과 AI 할루시네이션을 초래할 수 있습니다. 예를 들어, 풍자는 AI를 혼란스럽게 만들 수 있습니다(인간조차도 종종 풍자를 사실과 혼동합니다).

편향성: 데이터 세트가 충분히 광범위하지 않으면 사용된 학습 데이터로 인해 내재적인 편향이 발생할 수 있습니다. 이러한 편향 때문에 AI 모델은 특정 종류의 답을 제시하도록 AI 모델을 왜곡하거나, 인종 또는 성 고정 관념을 조장할 수 있습니다.

모델에 대한 공격: 악의적인 사람이 프롬프트 삽입 공격을 사용하여 생성형 AI 모델이 프롬프트를 인식하고 결과를 생성하는 방식을 변경할 수 있습니다. 널리 알려진 사례가 2016년에 있었습니다. Microsoft가 챗봇인 Tay를 출시했는데, Twitter(현재의 X) 사용자들이 응답을 왜곡하는 정보를 제공하면서 하루도 지나지 않아 인종차별적이고 성차별적인 콘텐츠가 생성되기 시작했습니다. 그 이후 AI 모델은 더욱 정교해졌지만, 여전히 이러한 공격에 취약합니다.

과적합: AI 모델이 초기 학습 데이터 세트로 너무 많은 학습을 거치면 일반화하거나 추세를 감지하거나 새 데이터에서 정확한 결론을 도출하는 기능이 손실될 수 있습니다. 또한 학습 데이터에서 실제로는 중요하지 않은 패턴을 감지하여 새로운 데이터가 입력되기 전까지는 명백히 알아차리기 어려운 오류를 야기할 수도 있습니다. 모델이 학습 데이터에 너무 가깝게 맞춰지는 이러한 시나리오를 "과적합"이라고 합니다. 과적합의 예로는 COVID-19 팬데믹 기간 동안 병원의 COVID 환자에 대한 스캔 자료로 학습을 받은 AI 모델이 여러 병원에서 사용하는 텍스트 글꼴을 선택하고 이 글꼴을 COVID 진단의 예측 변수로 처리하기 시작했던 경우를 들 수 있습니다. 생성형 AI 모델에서 과적합은 할루시네이션을 초래할 수 있습니다.

AI 개발자는 AI 할루시네이션을 어떻게 예방할 수 있을까요?

개발자가 AI 할루시네이션을 완전히 제거하는 것은 불가능할 수도 있지만, 할루시네이션 및 기타 부정확성을 줄이기 위해 취할 수 있는 구체적인 조치가 있습니다.

• 더 많은 데이터, 더 나은 데이터: 다양한 출처에서 가져온 대규모 데이터 세트는 편향을 제거하고 모델이 더 다양한 데이터에서 추세와 패턴을 감지하는 방법을 학습하는 데 도움이 될 수 있습니다.
• 과적합 방지: 개발자는 하나의 데이터 세트로 AI 모델을 너무 많이 학습시키지 않도록 해야 합니다.
• 광범위한 테스트: AI 모델은 다양한 컨텍스트에서 예기치 않은 프롬프트를 표시하는 방식으로 테스트를 거쳐야 합니다.
• 사용 사례에 맞게 설계된 모델 사용: 예를 들어 LLM 챗봇은 의료 연구에 관한 사실에 입각한 쿼리에 응답하는 데에는 적합하지 않을 수 있습니다.
• 지속적인 개선: 아무리 정교한 모델이라도 사각지대가 있을 수 있습니다. AI 모델은 수신된 프롬프트를 통해 계속 학습해야 합니다(프롬프트 삽입 공격을 방지하기 위한 유효성 검사 수행).
• 생성형 AI 챗봇에 대한 난간 설치: 회사 관련 데이터에 액세스하여 응답을 향상할 수 있는 검색 증강 생성(RAG) 챗봇은 여전히 할루시네이션을 느낄 수 있습니다. 개발자는 챗봇이 답을 찾을 수 없을 때, 대답을 만들어내는 대신 "답을 드리기에 정보가 충분하지 않습니다"라는 메시지를 반환하도록 지시하는 등 보호 난간을 구현해 줄 수 있습니다.

개발자가 전 세계 어디에서나 AI 모델을 구축하고 실행하는 데 Cloudflare for AI가 어떻게 도움이 되는지 알아보세요. Cloudflare Vectorize를 통해 개발자가 전 세계에 분산된 벡터 데이터베이스에 임베딩을 생성하고 저장할 수 있는 방법을 알아보세요.