O que é tráfego de bots? | Como interromper o tráfego de bots

Tráfego de bots é o tráfego não humano de um site. Embora alguns tipos de tráfego de bots possam ser benéficos, o tráfego abusivo de bots pode ser muito disruptivo.

Share facebook icon linkedin icon twitter icon email icon

Tráfego de bots

Objetivos de aprendizado

Depois de ler este artigo você será capaz de:

  • Defina o tráfego de bots.
  • Entenda como identificar o tráfego de bots.
  • Descreva as consequências negativas de bots mal-intencionados.
  • Aprenda como parar o tráfego de bots.

O que é tráfego de bots?

O tráfego de bots descreve qualquer tráfego não humano para um site ou aplicativo. O termo "tráfego de bots" geralmente carrega uma conotação negativa. No entanto, na realidade, o tráfego de bots não é necessariamente bom ou ruim. Tudo depende da finalidade dos bots.

Alguns bots são essenciais para serviços úteis, como mecanismos de busca e assistentes digitais (por exemplo, Siri, Alexa). Esses tipos de bots são bem-vindos nos sites da maioria das empresas.

Outros bots podem ser mal-intencionados; por exemplo, os bots usados para fins de preenchimento de credenciais, raspagem de dados e lançamento de ataques de DDoS. Até mesmo alguns dos bots "do mal" benignos, como web crawlers não autorizados, podem ser incômodos, porque podem prejudicar os analytics do site e gerar fraude de cliques.

Acredita-se que mais de 40% de todo o tráfego da internet seja composto de tráfego de bots, com uma parcela significativa sendo de bots mal-intencionados. Por essa razão, muitas organizações estão procurando maneiras de gerenciar o tráfego de bots que chega aos seus sites.

Como o tráfego de bots pode ser identificado?

Os engenheiros da internet conseguem examinar diretamente as solicitações de rede recebidas por seus sites e identificar um provável tráfego de bots. As ferramentas integradas de analytics da internet, como o Google Analytics ou o Heap, também podem ajudar a detectar o tráfego de bots.

As anomalias de analytics listadas abaixo são características do tráfego de bots:

  • Visualizações de página anormalmente altas: se um site apresentar um aumento repentino, inesperado e sem precedentes nas visualizações de página, é provável que bots estejam clicando nele.
  • Taxa de rejeição anormalmente alta: a taxa de rejeição identifica o número de usuários que acessam uma única página em um site e, depois, saem do site antes de clicar em qualquer coisa na página. Um aumento inesperado da taxa de rejeição pode ser o resultado do direcionamento de bots para uma única página.
  • Duração da sessão surpreendentemente alta ou baixa: a duração da sessão (ou quantidade de tempo que os usuários ficam em um site) deve permanecer relativamente estável. Um aumento inexplicável na duração da sessão pode ser uma indicação de bots navegando no site em um ritmo muito mais lento que o usual. Por outro lado, uma queda inesperada na duração da sessão pode ser o resultado de bots clicando nas páginas do site muito mais rapidamente do que um usuário humano seria capaz.
  • Conversões sem valor: um aumento de conversões aparentando ser falsas, como criações de contas usando endereços de e-mail sem sentido ou formulários de contato enviados com nomes e números de telefone falsos, pode ser o resultado de bots de preenchimento de formulários ou bots de spam.
  • Pico de tráfego proveniente de um local inesperado: um aumento repentino de usuários de uma região em particular, particularmente uma região que dificilmente teria um grande número de pessoas fluentes no idioma nativo do site, pode ser uma indicação de tráfego de bots.

Como o tráfego de bots pode prejudicar os analytics?

Conforme mencionado acima, o tráfego de bots não autorizados pode afetar as métricas de analytics, como visualizações de página, taxa de rejeição, duração da sessão, geolocalização de usuários e conversões. Esses desvios nas métricas podem criar muita frustração para o proprietário do site. É muito difícil medir o desempenho de um site que está sendo inundado pela atividade de bots. As tentativas de aprimorar o site, como testes A/B e otimização da taxa de conversão, também são prejudicadas pelo ruído estatístico criado pelos bots.

Como filtrar o tráfego de bots do Google Analytics

O Google Analytics oferece uma opção de "excluir todos os acessos de bots e spiders conhecidos" (spiders são os bots de mecanismos de busca que rastreiam as páginas de sites). Se a origem do tráfego de bots puder ser identificada, os usuários também poderão fornecer uma lista específica de IPs que devem ser ignorados pelo Google Analytics.

Embora possam impedir a perturbação dos analytics por alguns bots, essas medidas não conseguirão interromper as ações de todos os bots. Além disso, a maioria dos bots mal-intencionados persegue um objetivo que não se limita a perturbar os analytics de tráfego, e essas medidas nada podem fazer para mitigar as atividades prejudiciais de bots não associadas à preservação dos dados de analytics.

Como o tráfego de bots pode prejudicar o desempenho?

O envio de enormes quantidades de tráfego de bots é uma maneira muito comum de os invasores iniciarem um ataque de DDoS. Durante alguns tipos de ataques de DDoS, o tráfego do ataque direcionado a um site é tão intenso que o servidor de origem fica sobrecarregado e o site se torna lento ou totalmente indisponível para usuários legítimos.

De que forma o tráfego de bots pode prejudicar os negócios?

Alguns sites podem ficar financeiramente incapacitados pelo tráfego de bots mal-intencionados, mesmo que seu desempenho não seja afetado. Os sites que dependem de publicidade e sites que vendem mercadorias com estoque limitado são particularmente vulneráveis.

No caso de sites que veiculam anúncios, os bots que chegam ao site e clicam em vários elementos da página podem acionar cliques falsos em anúncios, o que é conhecido como fraude de cliques. Embora inicialmente isso possa resultar em um aumento da receita de anúncios, as redes de publicidade on-line são muito eficientes para detectar cliques de bots. Se houver suspeitas de que um site está cometendo uma fraude de cliques, será tomada uma providência, geralmente no sentido de banir da rede o site e seu proprietário. Por esse motivo, os proprietários de sites que hospedam anúncios precisam estar sempre atentos à fraude de cliques perpetrada por bots.

Os sites com estoques limitados podem ser visados por bots de acumulação de estoques. Como o próprio nome sugere, esses bots acessam sites de comércio eletrônico e despejam toneladas de mercadorias em seus carrinhos de compras, tornando essa mercadoria indisponível para compra por compradores legítimos. Em alguns casos, isso também pode acionar a reposição desnecessária de estoque por um fornecedor ou fabricante. Os bots de acumulação de estoque nunca fazem uma compra; simplesmente são projetados para perturbar a disponibilidade do estoque.

Como os sites podem lidar com o tráfego de bots?

O primeiro passo para interromper ou gerenciar o tráfego de bots em um site é incluir um arquivo robots.txt. Trata-se de um arquivo que fornece instruções para o rastreamento da página por bots e pode ser configurado para prevenir as visitas ou quaisquer outras formas de interação de bots com a página do site. Vale notar que apenas os bots do bem obedecem às regras do robots.txt; o arquivo não poderá impedir que bots mal-intencionados rastreiem um site.

Várias ferramentas podem ajudar a mitigar o tráfego de bots abusivos. Uma solução de Rate Limiting é capaz de detectar e prevenir o tráfego de bots originário de um único endereço IP , embora isso ainda negligencie muito tráfego de bots mal-intencionados. Além de Rate Limiting, um engenheiro de rede pode examinar o tráfego de um site e identificar solicitações de rede suspeitas, fornecendo uma lista de endereços IP a serem bloqueados por uma ferramenta de filtragem, como um WAF. Trata-se de um processo muito trabalhoso e, ainda assim, interrompe apenas uma parte do tráfego de bots mal-intencionados.

Além do Rate Limiting e da intervenção direta de engenheiros, a maneira mais fácil e mais eficaz de interromper o tráfego de bots do mal é uma solução de gerenciamento de bots. Uma solução de gerenciamento de bots é capaz de tirar proveito da inteligência e usar a análise comportamental para parar os bots mal-intencionados antes que eles cheguem a um site. Por exemplo, o Gerenciamento de Bots da Cloudflare usa a inteligência de mais de 13 milhões de ativos da internet e aplica o aprendizado de máquina para identificar e interromper proativamente o abuso de bots.