What is bot traffic? | How to stop bot traffic

봇 트래픽은 웹사이트를 찾는, 인간이 아닌 트래픽입니다. 혜택이 있는 봇 트래픽도 있지만, 악성 봇 트래픽은 매우 파괴적일 수 있습니다.

학습 목표

이 글을 읽은 후에 다음을 할 수 있습니다:

  • 봇 트래픽 정의하기.
  • 봇 트래픽 식별 방법 이해하기.
  • 악성 봇의 부정적인 영향 설명하기.
  • 봇 트래픽 차단 방법 알기.

글 링크 복사

봇 트래픽이란 무엇입니까?

봇 트래픽은 인간이 아니면서 웹사이트나 애플리케이션을 찾는 모든 트래픽을 말합니다. 봇 트래픽이라는 용어에는 부정적인 의미가 내포된 경우가 있지만, 실제로 봇 트래픽 자체가 반드시 좋거나 나쁘거나 한 것은 아닙니다. 의 목적에 따라 다릅니다.

일부 봇은 검색 엔진이나 디지털 비서(예 : Siri, Alexa) 등의 유용한 서비스에 필수적입니다. 대부분의 회사는 사이트에 이러한 봇이 오는 것을 환영합니다.

하지만 악성 봇도 있으며, 자격 증명 스터핑 , 데이터 스크래핑 , DDoS 공격 시작을 위한 봇 등이 그 예입니다. 승인받지 않은 웹 크롤러 등의 보다 악의적인 '악성' 봇은 사이트 분석을 방해하고 클릭 사기를 일으킬 수 있기 때문에 골칫거리가 되기도 합니다.

모든 인터넷 트래픽의 40% 이상이 봇 트래픽으로 구성되어 있으며 그 중 상당 부분이 악성 봇으로 생각됩니다. 그래서 많은 조직이 사이트로 들어오는 봇 트래픽을 관리하는 방법을 찾고 있습니다.

봇 트래픽의 식별 방법

웹 엔지니어는 사이트에 대한 네트워크 요청을 직접 보고 봇 트래픽일 가능성이 있는 트래픽을 식별할 수 있습니다. Google Analytics 또는 Heap 같은 통합 웹 분석 도구도 봇 트래픽 감지에 유용하게 이용할 수 있습니다.

분석 시 다음과 같은 비정상적 현상이 나타난다면, 이는 봇 트래픽의 특징입니다.

  • 비정상적으로 많은 페이지 조회 수: 사이트의 페이지 조회수가 예기치 못하게, 급격하게, 과도하게 증가하면, 사이트 전체를 클릭한 봇 때문일 수 있습니다.
  • 비정상적으로 높은 이탈률: 이탈률은 사이트의 특정 페이지를 방문한 이후 해당 페이지에서 아무것도 클릭하지 않고 떠나는 사용자 수를 나타냅니다. 이탈률이 예상치 못하게 상승하면 봇이 해당 페이지를 향한 결과일 수 있습니다.
  • 비정상적으로 길거나 짧은 세션 지속 시간: 사용자가 웹사이트에 머무르는 시간을 뜻하는 세션 지속 시간은 비교적 안정적으로 유지되어야 합니다. 이유 없이 세션 시간이 늘어나면, 봇이 사이트를 비정상적으로 느리게 탐색하기 때문일 수 있습니다. 반대로 예상치 못하게 세션 지속 시간이 줄어들면, 이는 봇이 인간 사용자보다 훨씬 빠르게 사이트의 페이지를 클릭하기 때문일 수 있습니다.
  • 정크 전환: 의미 없는 이메일 주소로 생성한 계정이나, 가짜 이름 및 전화번호를 제출한 양식 등 가짜로 보이는 전환이 급증하면, 이는 양식 작성 봇 또는 스팸 봇으로 인한 결과일 수 있습니다.
  • 예기치 않은 위치에서 발생하는 트래픽의 급증: 특정 지역, 특히 사이트의 원래 언어를 사용하는 사람이 많지 않을 것 같은 지역에서 사용자가 갑자기 급증하면 봇 트래픽의 징조일 수 있습니다.

봇 트래픽으로 분석이 저해되는 방식

위에서 설명한 것처럼, 승인받지 않은 봇 트래픽은 페이지 조회 수, 이탈률, 세션 지속 시간, 사용자의 지리적 위치, 전환율 등의 분석 지표에 영향을 줄 수 있습니다. 이러한 지표의 편차는 사이트 소유자에게 큰 좌절을 야기할 수 있습니다. 사이트에 봇 활동이 많으면, 사이트의 성능을 측정하는 것이 매우 어렵습니다. A/B 테스트 및 전환율 최적화 등 사이트를 개선하려는 노력도 봇이 생성한 통계적 노이즈에 의해 저해됩니다.

Google Analytics에서 봇 트래픽을 필터링하는 방법

Google Analytics does provide an option to “exclude all hits from known bots and spiders” (spiders are search engine bots that crawl webpages). If the source of the bot traffic can be identified, users can also provide a specific list of IPs to be ignored by Google Analytics.

이러한 조치로 봇이 분석을 저해하는 일을 일부 막을 수는 있지만, 모든 봇을 막을 수는 없습니다. 게다가, 대부분의 악성 봇은 트래픽 분석을 방해하는 것 외의 목표를 추구하고 있으며, 이러한 조치는 분석 데이터를 보존하는 것 이외의 유해한 봇 활동을 완화하기 위해 아무것도 하지 않습니다.

봇 트래픽으로 성능이 저하되는 방식

공격자가 DDoS 공격을 시작하는 가장 일반적인 방법은 대량의 봇 트래픽을 보내는 것입니다. DDoS 공격 중에 과도한 공격 트래픽을 보내므로, 원본 서버에 과부하가 걸려, 사이트가 합법적인 사용자에게 느려지거나 아예 제공되지 않기도 합니다.

봇 트래픽이 사업에 끼칠 수 있는 악영향

악성 봇으로 인해 성능에는 영향을 받지 않더라도 재무적인 피해를 입는 웹사이트도 있습니다. 광고에 의존하는 사이트와 재고가 한정된 상품을 판매하는 사이트가 특히 취약합니다.

For sites that serve ads, bots that land on the site and click on various elements of the page can trigger fake ad clicks; this is known as click fraud. While this may initially result in a boost in ad revenue, online advertising networks are very good at detecting bot clicks. If they suspect a website is committing click fraud, they will take action, usually in the form of banning that site and its owner from their network. For this reason, owners of sites that host ads need to be ever-wary of bot click fraud.

Sites with limited inventory can be targeted by inventory hoarding bots. As the name suggests, these bots go to e-commerce sites and dump tons of merchandise into their shopping carts, making that merchandise unavailable for purchase by legitimate shoppers. In some cases this can also trigger unnecessary restocking of inventory from a supplier or manufacturer. The inventory hoarding bots never make a purchase; they are simply designed to disrupt the availability of inventory.

웹 사이트의 봇 트래픽 관리 방법

The first step to stopping or managing bot traffic to a website is to include a robots.txt file. This is a file that provides instructions for bots crawling the page, and it can be configured to prevent bots from visiting or interacting with a webpage altogether. But it should be noted that only good bots will abide by the rules in robots.txt; it will not prevent malicious bots from crawling a website.

A number of tools can help mitigate abusive bot traffic. A rate limiting solution can detect and prevent bot traffic originating from a single IP address, although this will still overlook a lot of malicious bot traffic. On top of rate limiting, a network engineer can look at a site’s traffic and identify suspicious network requests, providing a list of IP addresses to be blocked by a filtering tool such as a WAF. This is a very labor-intensive process and still only stops a portion of the malicious bot traffic.

Separate from rate limiting and direct engineer intervention, the easiest and most effective way to stop bad bot traffic is with a bot management solution. A bot management solution can leverage intelligence and use behavioral analysis to stop malicious bots before they ever reach a website. For example, Cloudflare Bot Management uses intelligence from over 25,000,000 Internet properties and applies machine learning to proactively identify and stop bot abuse. Super Bot Fight Mode, available on Pro and Business plans, offers smaller organizations similar visibility and control over their bot traffic.