O que é tráfego de bots? | Como interromper o tráfego de bots

O que é tráfego de bots?

O tráfego de bots descreve qualquer tráfego não humano para um site ou aplicativo. O termo "tráfego de bots" geralmente carrega uma conotação negativa. No entanto, na realidade, o tráfego de bots não é necessariamente bom ou ruim. Tudo depende da finalidade dos bots.

Alguns bots são essenciais para serviços úteis, como mecanismos de busca e assistentes digitais (por exemplo, Siri, Alexa). Esses tipos de bots são bem-vindos nos sites da maioria das empresas.

Outros bots podem ser mal-intencionados; por exemplo, os bots usados para fins de preenchimento de credenciais, raspagem de dados e lançamento de ataques de DDoS. Até mesmo alguns dos bots "do mal" benignos, como web crawlers não autorizados, podem ser incômodos, porque podem prejudicar os analytics do site e gerar fraude de cliques.

Acredita-se que mais de 40% de todo o tráfego da internet seja composto de tráfego de bots, com uma parcela significativa sendo de bots mal-intencionados. Por essa razão, muitas organizações estão procurando maneiras de gerenciar o tráfego de bots que chega aos seus sites.

Como o tráfego de bots pode ser identificado?

Os engenheiros da internet conseguem examinar diretamente as solicitações de rede recebidas por seus sites e identificar um provável tráfego de bots. As ferramentas integradas de analytics da internet, como o Google Analytics ou o Heap, também podem ajudar a detectar o tráfego de bots.

As anomalias de analytics listadas abaixo são características do tráfego de bots:

• Visualizações de página anormalmente altas: se um site apresentar um aumento repentino, inesperado e sem precedentes nas visualizações de página, é provável que bots estejam clicando nele.
• Taxa de rejeição anormalmente alta: a taxa de rejeição identifica o número de usuários que acessam uma única página em um site e, depois, saem do site antes de clicar em qualquer coisa na página. Um aumento inesperado da taxa de rejeição pode ser o resultado do direcionamento de bots para uma única página.
• Duração da sessão surpreendentemente alta ou baixa: a duração da sessão (ou quantidade de tempo que os usuários ficam em um site) deve permanecer relativamente estável. Um aumento inexplicável na duração da sessão pode ser uma indicação de bots navegando no site em um ritmo muito mais lento que o usual. Por outro lado, uma queda inesperada na duração da sessão pode ser o resultado de bots clicando nas páginas do site muito mais rapidamente do que um usuário humano seria capaz.
• Conversões sem valor: um aumento de conversões aparentando ser falsas, como criações de contas usando endereços de e-mail sem sentido ou formulários de contato enviados com nomes e números de telefone falsos, pode ser o resultado de bots de preenchimento de formulários ou bots de spam.
• Pico de tráfego proveniente de um local inesperado: um aumento repentino de usuários de uma região em particular, particularmente uma região que dificilmente teria um grande número de pessoas fluentes no idioma nativo do site, pode ser uma indicação de tráfego de bots.

Como o tráfego de bots pode prejudicar os analytics?

Conforme mencionado acima, o tráfego de bots não autorizados pode afetar as métricas de analytics, como visualizações de página, taxa de rejeição, duração da sessão, geolocalização de usuários e conversões. Esses desvios nas métricas podem criar muita frustração para o proprietário do site. É muito difícil medir o desempenho de um site que está sendo inundado pela atividade de bots. As tentativas de aprimorar o site, como testes A/B e otimização da taxa de conversão, também são prejudicadas pelo ruído estatístico criado pelos bots.

Como filtrar o tráfego de bots do Google Analytics

O Google Analytics oferece uma opção para “excluir todos os acessos de bots e spiders conhecidos” (spiders são bots de mecanismo de pesquisa que rastreiam as páginas web). Se a origem do tráfego de bots puder se identificada, os usuários também poderão fornecer uma lista específica de IPs que devem ser ignorados pelo Google Analytics.

Embora possam impedir a perturbação dos analytics por alguns bots, essas medidas não conseguirão interromper as ações de todos os bots. Além disso, a maioria dos bots mal-intencionados persegue um objetivo que não se limita a perturbar os analytics de tráfego, e essas medidas nada podem fazer para mitigar as atividades prejudiciais de bots não associadas à preservação dos dados de analytics.

Como o tráfego de bots pode prejudicar o desempenho?

O envio de enormes quantidades de tráfego de bots é uma maneira muito comum de os invasores iniciarem um ataque de DDoS. Durante alguns tipos de ataques de DDoS, o tráfego do ataque direcionado a um site é tão intenso que o servidor de origem fica sobrecarregado e o site se torna lento ou totalmente indisponível para usuários legítimos.

De que forma o tráfego de bots pode prejudicar os negócios?

Alguns sites podem ficar financeiramente incapacitados pelo tráfego de bots mal-intencionados, mesmo que seu desempenho não seja afetado. Os sites que dependem de publicidade e sites que vendem mercadorias com estoque limitado são particularmente vulneráveis.

No caso de sites que veiculam anúncios, os bots que acessam o site e clicam em vários elementos da página podem acionar cliques falsos em anúncios, o que é conhecido como fraude de cliques. Embora inicialmente isso possa resultar em um aumento da receita de anúncios, as redes de publicidade on-line são muito eficientes na detecção de cliques de bots. Caso essas redes suspeitem que um site está cometendo uma fraude de cliques, elas tomarão medidas, geralmente no sentido de banir da rede o site e seu proprietário. Por esse motivo, os proprietários de site que hospedam anúncios devem estar sempre atentos à fraude de cliques perpetrada por bots.

Sites with limited inventory can be targeted by inventory hoarding bots. As the name suggests, these bots go to e-commerce sites and dump tons of merchandise into their shopping carts, making that merchandise unavailable for purchase by legitimate shoppers. In some cases this can also trigger unnecessary restocking of inventory from a supplier or manufacturer. The inventory hoarding bots never make a purchase; they are simply designed to disrupt the availability of inventory.

Como os sites podem lidar com o tráfego de bots?

O primeiro passo para interromper ou gerenciar o tráfego de bots em um site é incluir um arquivo robots.txt. Trata-se de um arquivo que fornece instruções para que os bots rastreiem a página e que pode ser configurado para evitar que os bots visitem ou interajam com a página do site. Vale notar que apenas os bots do bem obedecem às regras do arquivo robots.txt, porém este não poderá evitar que bots maliciosos rastreiem um site.

Várias ferramentas podem ajudar a mitigar o tráfego de bots abusivos. Uma solução de rate limiting é capaz de detectar e evitar o tráfego de bots originário de um único endereço de IP, embora continue negligenciando uma grande quantidade de tráfego de bots maliciosos. Além do rate limiting, um engenheiro de rede pode examinar o tráfego de um site e identificar solicitações de rede suspeitas, fornecendo uma lista de endereços de IP a serem bloqueados por uma ferramenta de filtragem, como um WAF. Trata-se de um processo muito trabalhoso e, ainda assim, interrompe apenas uma parte do tráfego de bots maliciosos.

Separate from rate limiting and direct engineer intervention, the easiest and most effective way to stop bad bot traffic is with a bot management solution. A bot management solution can leverage intelligence and use behavioral analysis to stop malicious bots before they ever reach a website. For example, Cloudflare Bot Management uses intelligence from millions of Internet properties and applies machine learning to proactively identify and stop bot abuse. Super Bot Fight Mode, available on Pro and Business plans, offers smaller organizations similar visibility and control over their bot traffic.