신경망이란?

신경망이란?

신경망 또는 인공 신경망은 인간의 뇌가 기능하는 방식에 대한 모델을 기반으로 하는 컴퓨팅 아키텍처의 한 유형이므로 "신경망"이라는 이름이 붙었습니다. 신경망은 "노드"라는 처리 단위의 컬렉션으로 구성됩니다. 이들 노드는 뇌에서 뉴런이 서로 전기 자극을 전달하는 것처럼 데이터를 서로 전달합니다.

신경망은 명확한 지침 없이 학습하는 컴퓨터 프로그램의 범주를 의미하는 머신 러닝에 사용됩니다. 특히 신경망은 사람의 개입 없이 레이블이 없는 데이터에서 결론을 도출할 수 있는 고급 머신 러닝 유형인 딥러닝에 사용됩니다. 예를 들어, 신경망을 기반으로 구축되고 충분한 학습 데이터가 제공된 딥러닝 모델은 이전에 본 적이 없는 사진 속 사물을 식별할 수 있습니다.

신경망 덕분에 다양한 유형의 인공 지능(AI)이 가능합니다. ChatGPT와 같은 대규모 언어 모델(LLM), DALL-E와 같은 AI 이미지 생성기, 예측 AI 모델은 모두 신경망에 어느 정도 의존합니다.

신경망은 어떻게 작동할까요?

신경망은 노드 모음으로 구성됩니다. 노드는 최소 3개의 층에 분산되어 있습니다. 세 가지 층은 다음과 같습니다.

• 입력 계층
• "은닉"층
• 출력 계층

이 세 가지 층은 최소한의 층입니다. 신경망에는 입력층과 출력층 외에도 하나 이상의 은닉층이 있을 수 있습니다.

어느 층에 속해 있든 각 노드는 이전 노드(또는 입력층)로부터 받은 입력에 대해 일종의 처리 작업이나 기능을 수행합니다. 기본적으로 각 노드에는 수학 공식이 포함되어 있으며, 공식 내의 각 변수에 가중치가 다르게 적용됩니다. 입력에 해당 수학 공식을 적용한 결과가 특정 임계값을 초과하면 노드는 신경망의 다음 계층으로 데이터를 전달합니다. 출력이 임계값 미만이면 다음 층으로 데이터가 전달되지 않습니다.

엄격한 계층 구조의 회계 부서가 있다고 가정해 보겠습니다. 관리자급 회계 부서 직원은 1,000달러 미만의 경비를 승인하고, 이사는 10,000달러 미만의 경비를 승인하며, 10,000달러를 초과하는 경비는 모두 CFO가 승인합니다. Acme Corp.의 다른 부서 직원들이 경비를 제출하면 먼저 회계 관리자에게 전달됩니다. 1,000달러가 넘는 경비는 이사에게 전달되고, 1,000달러 미만의 경비는 관리자 수준에 전달되는 식으로 진행됩니다.

Acme Corp.의 회계 부서는 신경망과 같은 기능을 합니다. 직원이 경비 보고서를 제출하는 것은 신경망의 입력 계층과 같습니다. 각 관리자와 이사는 신경망의 노드와 같은 역할을 합니다.

또한 회계 관리자가 경비 보고서를 회계 이사에게 전달하기 전에 다른 관리자에게 경비 보고서 해석에 대한 도움을 요청할 수 있는 것처럼 신경망은 다양한 방식으로 설계할 수 있습니다. 노드는 여러 방향으로 통신할 수 있습니다.

신경망의 종류는?

신경망에 포함할 수 있는 노드와 층의 수에는 제한이 없으며, 이러한 노드는 거의 모든 방식으로 상호 작용할 수 있습니다. 이 때문에 신경망의 유형은 계속 확장되고 있습니다. 하지만 대략 다음과 같은 범주로 분류할 수 있습니다.

• 얕은 신경망에는 일반적으로 은닉층이 하나만 있습니다.
• 심층 신경망에는 숨겨진 계층이 여러 개 있습니다.

얕은 신경망은 속도가 빠르고 심층 신경망보다 처리 능력이 덜 필요하지만, 심층 신경망만큼 복잡한 작업을 많이 수행할 수는 없습니다.

아래 오늘날 사용될 수 있는 신경망의 유형에 대한 불완전한 목록이 나와 있습니다.

퍼셉트론 신경망은 입력 계층과 출력 계층이 있는 단순하고 얕은 네트워크입니다.

다층 퍼셉트론 신경망은 퍼셉트론 네트워크에 복잡성을 더하고 숨겨진 계층을 포함합니다.

피드포워드 신경망은 해당 노드가 포워드 노드에게만 정보를 전달할 수 있도록 허용합니다.

순환 신경망은 역방향으로 작동하여 일부 노드의 출력이 이전 노드의 입력에 영향을 줄 수 있습니다.

모듈러 신경망은 출력에 도달하기 위해 두 개 이상의 신경망을 결합합니다.

방사형 기저 함수 신경망 노드는 방사형 기저 함수라는 특정 종류의 수학 함수를 사용합니다.

액체 상태 머신 신경망은 서로 무작위로 연결된 노드가 특징입니다.

잔차 신경망은 초기 계층의 출력과 이후 계층의 출력을 결합하는 ID 매핑이라는 프로세스를 통해 데이터를 건너뛸 수 있게 해 줍니다.

트랜스포머 신경망이란?

트랜스포머 신경망은 오늘날 널리 사용되고 있는 AI 모델에서 매우 중요한 위치를 차지하고 있으므로 강조할 가치가 있습니다.

2017년에 처음 제안된 트랜스포머 모델은 "셀프어텐션" 이라는 기술을 사용하여 요소 자체뿐만 아니라 시퀀스 내 요소의 컨텍스트까지도 고려하는 신경망입니다. 셀프어텐션 기능을 통해 데이터 세트의 일부가 서로 연관되는 미묘한 방식까지 감지할 수 있습니다.

이 기능은 개별 단어와 구가 아닌 문장과 문단 분석(예: 텍스트)에 이상적입니다. 트랜스포머 모델이 개발되기 전에는 텍스트를 처리하는 AI 모델이 문장이 끝날 때까지 문장의 시작 부분을 "잊어버리는" 경우가 많았고, 그 결과 인간 독자가 이해하기 어려운 방식으로 구와 아이디어가 결합되는 경우가 많았습니다. 하지만 트랜스포머 모델은 훨씬 더 자연스러운 방식으로 인간의 언어를 처리하고 생성할 수 있습니다.

트랜스포머 모델은 생성형 AI, 특히 인간의 임의적인 프롬프트에 응답하여 텍스트를 생성할 수 있는 LLM의 필수 구성 요소입니다.

신경망의 역사

신경망은 사실 꽤 오래된 기술입니다. 신경망의 개념은 1943년 뇌가 작동하는 방식을 모델링한 수학 논문으로 거슬러 올라갑니다. 컴퓨터 과학자들은 1950년대와 1960년대에 간단한 신경망 구축을 시도하기 시작했지만, 결국 이 개념은 인기가 하락했습니다. 1980년대에 이 개념은 다시 부활했고, 1990년대에는 신경망이 AI 연구에 널리 사용되기 시작했습니다.

그러나 초고속 처리, 대용량 데이터 스토리지 기능, 컴퓨팅 리소스에 대한 액세스가 등장하고 나서야 신경망은 인간의 인지 능력을 모방하거나 심지어 능가할 수 있는 오늘날의 수준으로 발전할 수 있었습니다. 이 분야는 여전히 발전하고 있습니다. 오늘날 사용되는 가장 중요한 신경망 유형 중 하나인 트랜스포머는 2017년에 개발되었습니다.

Cloudflare에서는 신경망을 어떻게 지원할까요?

전 세계 335여 개의 도시에 위치한 Cloudflare는 대기 시간을 최소화하면서 어디에서든 AI 개발자에게 컴퓨팅 성능을 제공할 수 있는 독보적인 위치에 있습니다. Cloudflare for AI를 사용하면 개발자는 추가 설정 없이도 글로벌 그래픽 처리 장치(GPU) 네트워크에서 AI 작업을 실행할 수 있습니다. Cloudflare에서는 신경망 학습에 필요한 방대한 양의 데이터를 위한 비용 효율적인 클라우드 스토리지 옵션도 제공합니다. Cloudflare for AI에 대해 자세히 알아보세요.