봇 트래픽이란? | 봇 트래픽을 차단하는 방법

봇 트래픽이란 무엇입니까?

봇 트래픽은 인간이 아니면서 웹사이트나 애플리케이션을 찾는 모든 트래픽을 말합니다. 봇 트래픽이라는 용어에는 부정적인 의미가 내포된 경우가 있지만, 실제로 봇 트래픽 자체가 반드시 좋거나 나쁘거나 한 것은 아닙니다. 봇의 목적에 따라 다릅니다.

일부 봇은 검색 엔진이나 디지털 비서(예 : Siri, Alexa) 등의 유용한 서비스에 필수적입니다. 대부분의 회사는 사이트에 이러한 봇이 오는 것을 환영합니다.

하지만 악성 봇도 있으며, 자격 증명 스터핑 , 데이터 스크래핑 , DDoS 공격 시작을 위한 봇 등이 그 예입니다. 승인받지 않은 웹 크롤러 등의 보다 악의적인 '악성' 봇은 사이트 분석을 방해하고 클릭 사기를 일으킬 수 있기 때문에 골칫거리가 되기도 합니다.

모든 인터넷 트래픽의 40% 이상이 봇 트래픽으로 구성되어 있으며 그 중 상당 부분이 악성 봇으로 생각됩니다. 그래서 많은 조직이 사이트로 들어오는 봇 트래픽을 관리하는 방법을 찾고 있습니다.

봇 트래픽의 식별 방법

웹 엔지니어는 사이트에 대한 네트워크 요청을 직접 보고 봇 트래픽일 가능성이 있는 트래픽을 식별할 수 있습니다. Google Analytics 또는 Heap 같은 통합 웹 분석 도구도 봇 트래픽 감지에 유용하게 이용할 수 있습니다.

분석 시 다음과 같은 비정상적 현상이 나타난다면, 이는 봇 트래픽의 특징입니다.

• 비정상적으로 많은 페이지 조회 수: 사이트의 페이지 조회수가 예기치 못하게, 급격하게, 과도하게 증가하면, 사이트 전체를 클릭한 봇 때문일 수 있습니다.
• 비정상적으로 높은 이탈률: 이탈률은 사이트의 특정 페이지를 방문한 이후 해당 페이지에서 아무것도 클릭하지 않고 떠나는 사용자 수를 나타냅니다. 이탈률이 예상치 못하게 상승하면 봇이 해당 페이지를 향한 결과일 수 있습니다.
• 비정상적으로 길거나 짧은 세션 지속 시간: 사용자가 웹사이트에 머무르는 시간을 뜻하는 세션 지속 시간은 비교적 안정적으로 유지되어야 합니다. 이유 없이 세션 시간이 늘어나면, 봇이 사이트를 비정상적으로 느리게 탐색하기 때문일 수 있습니다. 반대로 예상치 못하게 세션 지속 시간이 줄어들면, 이는 봇이 인간 사용자보다 훨씬 빠르게 사이트의 페이지를 클릭하기 때문일 수 있습니다.
• 정크 전환: 의미 없는 이메일 주소로 생성한 계정이나, 가짜 이름 및 전화번호를 제출한 양식 등 가짜로 보이는 전환이 급증하면, 이는 양식 작성 봇 또는 스팸 봇으로 인한 결과일 수 있습니다.
• 예기치 않은 위치에서 발생하는 트래픽의 급증: 특정 지역, 특히 사이트의 원래 언어를 사용하는 사람이 많지 않을 것 같은 지역에서 사용자가 갑자기 급증하면 봇 트래픽의 징조일 수 있습니다.

봇 트래픽으로 분석이 저해되는 방식

위에서 설명한 것처럼, 승인받지 않은 봇 트래픽은 페이지 조회 수, 이탈률, 세션 지속 시간, 사용자의 지리적 위치, 전환율 등의 분석 지표에 영향을 줄 수 있습니다. 이러한 지표의 편차는 사이트 소유자에게 큰 좌절을 야기할 수 있습니다. 사이트에 봇 활동이 많으면, 사이트의 성능을 측정하는 것이 매우 어렵습니다. A/B 테스트 및 전환율 최적화 등 사이트를 개선하려는 노력도 봇이 생성한 통계적 노이즈에 의해 저해됩니다.

Google Analytics에서 봇 트래픽을 필터링하는 방법

Google Analytics에서는 "알려진 봇 및 스파이더(스파이더는 웹 페이지를 크롤링하는 검색 엔진 봇입니다)의 적중 제외" 옵션을 제공합니다. 사용자가 봇 트래픽의 출처를 식별할 수 있다면, Google Analytics에서 무시할 특정 IP 목록을 제공할 수도 있습니다.

이러한 조치로 봇이 분석을 저해하는 일을 일부 막을 수는 있지만, 모든 봇을 막을 수는 없습니다. 게다가, 대부분의 악성 봇은 트래픽 분석을 방해하는 것 외의 목표를 추구하고 있으며, 이러한 조치는 분석 데이터를 보존하는 것 이외의 유해한 봇 활동을 완화하기 위해 아무것도 하지 않습니다.

봇 트래픽으로 성능이 저하되는 방식

공격자가 DDoS 공격을 시작하는 가장 일반적인 방법은 대량의 봇 트래픽을 보내는 것입니다. DDoS 공격 중에 과도한 공격 트래픽을 보내므로, 원본 서버에 과부하가 걸려, 사이트가 합법적인 사용자에게 느려지거나 아예 제공되지 않기도 합니다.

봇 트래픽이 사업에 끼칠 수 있는 악영향

악성 봇으로 인해 성능에는 영향을 받지 않더라도 재무적인 피해를 입는 웹사이트도 있습니다. 광고에 의존하는 사이트와 재고가 한정된 상품을 판매하는 사이트가 특히 취약합니다.

광고를 제공하는 사이트의 경우, 봇이 해당 사이트를 방문하여 페이지의 다양한 요소를 클릭하게 되면, 가짜 광고 클릭이 유발됩니다. 이를 클릭 사기라고 합니다. 처음에는 광고 매출이 증가할 수 있지만, 온라인 광고 네트워크에서는 봇 클릭을 아주 잘 감지합니다. 웹 사이트에서 클릭 사기가 행해진 것으로 의심되면, 이들은 조치를 취하는데, 대체로 해당 사이트와 사이트 소유자를 네트워크에서 차단하는 형태입니다. 그러므로, 광고를 호스팅하는 사이트의 소유자는 봇 클릭 사기에 대해 항상 주의를 기울여야 합니다.

재고가 한정된 사이트는 재고 사재기 봇의 공격 대상이 될 수 있습니다. 이름에서 알 수 있듯이 이 봇은 전자 상거래 사이트로 이동하여 수많은 상품을 장바구니에 쓸어담음으로써, 합법적인 쇼핑객이 해당 상품을 구매할 수 없게 만듭니다. 불필요하게 공급업체 또는 제조업체로부터 재고를 재입고해야 하는 경우도 있습니다. 재고 사재기 봇은 구매를 하지 않으면서, 그저 재고 가용성을 방해하도록 설계되었습니다.

웹 사이트의 봇 트래픽 관리 방법

웹 사이트에 대한 봇 트래픽을 차단하거나 관리하는 첫 번째 단계는 robots.txt 파일을 넣는 것입니다. 이 파일은 봇에게 페이지 크롤링 지침을 제공하며, 봇이 웹페이지를 방문하거나 웹페이지와 상호작용하는 것을 방지하도록 파일을 구성할 수 있습니다. 그러나 양호한 봇만 robots.txt의 규칙을 준수하므로, 악의적 봇의 웹사이트 크롤링을 막지는 못한다는 것을 유의해야 합니다.

악의적 봇 트래픽 완화에 도움이 되는 도구가 많이 있습니다. 속도 제한 솔루션은 단일 IP 주소에서 발생하는 봇 트래픽을 감지하고 방지할 수 있지만, 여전히 많은 악의적 봇 트래픽을 간과할 수 있습니다. 네트워크 엔지니어는 속도 제한에 추가해, 사이트의 트래픽을 보고 의심스러운 네트워크 요청을 식별하여 WAF와 같은 필터링 도구로 차단할 IP 주소 목록을 제공할 수도 있습니다. 이는 매우 노동 집약적인 과정이면서도, 악의적 봇 트래픽의 일부만 차단할 수 있습니다.

레이트 리미팅 및 엔지니어의 직접 개입 이외에 가장 쉽고 효과적으로 악성 봇 트래픽을 막을 수 있는 방법은 봇 관리 솔루션을 이용하는 것입니다. 봇 관리 솔루션은 인텔리전스를 활용하고 행동 분석을 사용하여 악의적 봇이 웹 사이트에 도달하기 전에 막을 수 있습니다. 예를 들어, Cloudflare 봇 관리는 수백만 개 이상의 인터넷 자산에서 얻은 인텔리전스를 활용하고, 머신 러닝을 적용하여 봇 남용을 사전에 식별하고 차단합니다. Pro 요금제와 Business 요금제에서 사용할 수 있는 Super Bot Fight Mode에서는 봇 트래픽에 대하여 유사한 가시성과 제어 기능을 소규모 조직에 제공합니다.