What is bot traffic? | How to stop bot traffic

Tráfego de bots é o tráfego não humano de um site. Embora alguns tipos de tráfego de bots possam ser benéficos, o tráfego abusivo de bots pode ser muito disruptivo.

Objetivos de aprendizado

Após ler este artigo, você será capaz de:

  • Defina o tráfego de bots.
  • Entenda como identificar o tráfego de bots.
  • Descreva as consequências negativas de bots mal-intencionados.
  • Aprenda como parar o tráfego de bots.

Copiar o link do artigo

O que é tráfego de bots?

O tráfego de bots descreve qualquer tráfego não humano para um site ou aplicativo. O termo "tráfego de bots" geralmente carrega uma conotação negativa. No entanto, na realidade, o tráfego de bots não é necessariamente bom ou ruim. Tudo depende da finalidade dos bots.

Alguns bots são essenciais para serviços úteis, como mecanismos de busca e assistentes digitais (por exemplo, Siri, Alexa). Esses tipos de bots são bem-vindos nos sites da maioria das empresas.

Outros bots podem ser mal-intencionados; por exemplo, os bots usados para fins de preenchimento de credenciais, raspagem de dados e lançamento de ataques de DDoS. Até mesmo alguns dos bots "do mal" benignos, como web crawlers não autorizados, podem ser incômodos, porque podem prejudicar os analytics do site e gerar fraude de cliques.

Acredita-se que mais de 40% de todo o tráfego da internet seja composto de tráfego de bots, com uma parcela significativa sendo de bots mal-intencionados. Por essa razão, muitas organizações estão procurando maneiras de gerenciar o tráfego de bots que chega aos seus sites.

Como o tráfego de bots pode ser identificado?

Os engenheiros da internet conseguem examinar diretamente as solicitações de rede recebidas por seus sites e identificar um provável tráfego de bots. As ferramentas integradas de analytics da internet, como o Google Analytics ou o Heap, também podem ajudar a detectar o tráfego de bots.

As anomalias de analytics listadas abaixo são características do tráfego de bots:

  • Visualizações de página anormalmente altas: se um site apresentar um aumento repentino, inesperado e sem precedentes nas visualizações de página, é provável que bots estejam clicando nele.
  • Taxa de rejeição anormalmente alta: a taxa de rejeição identifica o número de usuários que acessam uma única página em um site e, depois, saem do site antes de clicar em qualquer coisa na página. Um aumento inesperado da taxa de rejeição pode ser o resultado do direcionamento de bots para uma única página.
  • Duração da sessão surpreendentemente alta ou baixa: a duração da sessão (ou quantidade de tempo que os usuários ficam em um site) deve permanecer relativamente estável. Um aumento inexplicável na duração da sessão pode ser uma indicação de bots navegando no site em um ritmo muito mais lento que o usual. Por outro lado, uma queda inesperada na duração da sessão pode ser o resultado de bots clicando nas páginas do site muito mais rapidamente do que um usuário humano seria capaz.
  • Conversões sem valor: um aumento de conversões aparentando ser falsas, como criações de contas usando endereços de e-mail sem sentido ou formulários de contato enviados com nomes e números de telefone falsos, pode ser o resultado de bots de preenchimento de formulários ou bots de spam.
  • Pico de tráfego proveniente de um local inesperado: um aumento repentino de usuários de uma região em particular, particularmente uma região que dificilmente teria um grande número de pessoas fluentes no idioma nativo do site, pode ser uma indicação de tráfego de bots.

Como o tráfego de bots pode prejudicar os analytics?

Conforme mencionado acima, o tráfego de bots não autorizados pode afetar as métricas de analytics, como visualizações de página, taxa de rejeição, duração da sessão, geolocalização de usuários e conversões. Esses desvios nas métricas podem criar muita frustração para o proprietário do site. É muito difícil medir o desempenho de um site que está sendo inundado pela atividade de bots. As tentativas de aprimorar o site, como testes A/B e otimização da taxa de conversão, também são prejudicadas pelo ruído estatístico criado pelos bots.

Como filtrar o tráfego de bots do Google Analytics

Google Analytics does provide an option to “exclude all hits from known bots and spiders” (spiders are search engine bots that crawl webpages). If the source of the bot traffic can be identified, users can also provide a specific list of IPs to be ignored by Google Analytics.

Embora possam impedir a perturbação dos analytics por alguns bots, essas medidas não conseguirão interromper as ações de todos os bots. Além disso, a maioria dos bots mal-intencionados persegue um objetivo que não se limita a perturbar os analytics de tráfego, e essas medidas nada podem fazer para mitigar as atividades prejudiciais de bots não associadas à preservação dos dados de analytics.

Como o tráfego de bots pode prejudicar o desempenho?

O envio de enormes quantidades de tráfego de bots é uma maneira muito comum de os invasores iniciarem um ataque de DDoS. Durante alguns tipos de ataques de DDoS, o tráfego do ataque direcionado a um site é tão intenso que o servidor de origem fica sobrecarregado e o site se torna lento ou totalmente indisponível para usuários legítimos.

De que forma o tráfego de bots pode prejudicar os negócios?

Alguns sites podem ficar financeiramente incapacitados pelo tráfego de bots mal-intencionados, mesmo que seu desempenho não seja afetado. Os sites que dependem de publicidade e sites que vendem mercadorias com estoque limitado são particularmente vulneráveis.

For sites that serve ads, bots that land on the site and click on various elements of the page can trigger fake ad clicks; this is known as click fraud. While this may initially result in a boost in ad revenue, online advertising networks are very good at detecting bot clicks. If they suspect a website is committing click fraud, they will take action, usually in the form of banning that site and its owner from their network. For this reason, owners of sites that host ads need to be ever-wary of bot click fraud.

Sites with limited inventory can be targeted by inventory hoarding bots. As the name suggests, these bots go to e-commerce sites and dump tons of merchandise into their shopping carts, making that merchandise unavailable for purchase by legitimate shoppers. In some cases this can also trigger unnecessary restocking of inventory from a supplier or manufacturer. The inventory hoarding bots never make a purchase; they are simply designed to disrupt the availability of inventory.

Como os sites podem lidar com o tráfego de bots?

The first step to stopping or managing bot traffic to a website is to include a robots.txt file. This is a file that provides instructions for bots crawling the page, and it can be configured to prevent bots from visiting or interacting with a webpage altogether. But it should be noted that only good bots will abide by the rules in robots.txt; it will not prevent malicious bots from crawling a website.

A number of tools can help mitigate abusive bot traffic. A rate limiting solution can detect and prevent bot traffic originating from a single IP address, although this will still overlook a lot of malicious bot traffic. On top of rate limiting, a network engineer can look at a site’s traffic and identify suspicious network requests, providing a list of IP addresses to be blocked by a filtering tool such as a WAF. This is a very labor-intensive process and still only stops a portion of the malicious bot traffic.

Separate from rate limiting and direct engineer intervention, the easiest and most effective way to stop bad bot traffic is with a bot management solution. A bot management solution can leverage intelligence and use behavioral analysis to stop malicious bots before they ever reach a website. For example, Cloudflare Bot Management uses intelligence from over 25,000,000 Internet properties and applies machine learning to proactively identify and stop bot abuse. Super Bot Fight Mode, available on Pro and Business plans, offers smaller organizations similar visibility and control over their bot traffic.