Tráfego de bots é o tráfego não humano de um site. Embora alguns tipos de tráfego de bots possam ser benéficos, o tráfego abusivo de bots pode ser muito disruptivo.
Após ler este artigo, você será capaz de:
Conteúdo relacionado
O que é um bot?
O que é gerenciamento de bots?
O que é preenchimento de credenciais?
O que é raspagem de conteúdo?
Raspagem de dados
Receba um resumo mensal das informações mais populares da internet.
Copiar o link do artigo
O tráfego de bots descreve qualquer tráfego não humano para um site ou aplicativo. O termo "tráfego de bots" geralmente carrega uma conotação negativa. No entanto, na realidade, o tráfego de bots não é necessariamente bom ou ruim. Tudo depende da finalidade dos bots.
Alguns bots são essenciais para serviços úteis, como mecanismos de busca e assistentes digitais (por exemplo, Siri, Alexa). Esses tipos de bots são bem-vindos nos sites da maioria das empresas.
Outros bots podem ser mal-intencionados; por exemplo, os bots usados para fins de preenchimento de credenciais, raspagem de dados e lançamento de ataques de DDoS. Até mesmo alguns dos bots "do mal" benignos, como web crawlers não autorizados, podem ser incômodos, porque podem prejudicar os analytics do site e gerar fraude de cliques.
Acredita-se que mais de 40% de todo o tráfego da internet seja composto de tráfego de bots, com uma parcela significativa sendo de bots mal-intencionados. Por essa razão, muitas organizações estão procurando maneiras de gerenciar o tráfego de bots que chega aos seus sites.
Os engenheiros da internet conseguem examinar diretamente as solicitações de rede recebidas por seus sites e identificar um provável tráfego de bots. As ferramentas integradas de analytics da internet, como o Google Analytics ou o Heap, também podem ajudar a detectar o tráfego de bots.
As anomalias de analytics listadas abaixo são características do tráfego de bots:
Conforme mencionado acima, o tráfego de bots não autorizados pode afetar as métricas de analytics, como visualizações de página, taxa de rejeição, duração da sessão, geolocalização de usuários e conversões. Esses desvios nas métricas podem criar muita frustração para o proprietário do site. É muito difícil medir o desempenho de um site que está sendo inundado pela atividade de bots. As tentativas de aprimorar o site, como testes A/B e otimização da taxa de conversão, também são prejudicadas pelo ruído estatístico criado pelos bots.
O Google Analytics oferece uma opção para “excluir todos os acessos de bots e spiders conhecidos” (spiders são bots de mecanismo de pesquisa que rastreiam as páginas web). Se a origem do tráfego de bots puder se identificada, os usuários também poderão fornecer uma lista específica de IPs que devem ser ignorados pelo Google Analytics.
Embora possam impedir a perturbação dos analytics por alguns bots, essas medidas não conseguirão interromper as ações de todos os bots. Além disso, a maioria dos bots mal-intencionados persegue um objetivo que não se limita a perturbar os analytics de tráfego, e essas medidas nada podem fazer para mitigar as atividades prejudiciais de bots não associadas à preservação dos dados de analytics.
O envio de enormes quantidades de tráfego de bots é uma maneira muito comum de os invasores iniciarem um ataque de DDoS. Durante alguns tipos de ataques de DDoS, o tráfego do ataque direcionado a um site é tão intenso que o servidor de origem fica sobrecarregado e o site se torna lento ou totalmente indisponível para usuários legítimos.
Alguns sites podem ficar financeiramente incapacitados pelo tráfego de bots mal-intencionados, mesmo que seu desempenho não seja afetado. Os sites que dependem de publicidade e sites que vendem mercadorias com estoque limitado são particularmente vulneráveis.
No caso de sites que veiculam anúncios, os bots que acessam o site e clicam em vários elementos da página podem acionar cliques falsos em anúncios, o que é conhecido como fraude de cliques. Embora inicialmente isso possa resultar em um aumento da receita de anúncios, as redes de publicidade on-line são muito eficientes na detecção de cliques de bots. Caso essas redes suspeitem que um site está cometendo uma fraude de cliques, elas tomarão medidas, geralmente no sentido de banir da rede o site e seu proprietário. Por esse motivo, os proprietários de site que hospedam anúncios devem estar sempre atentos à fraude de cliques perpetrada por bots.
Sites with limited inventory can be targeted by inventory hoarding bots. As the name suggests, these bots go to e-commerce sites and dump tons of merchandise into their shopping carts, making that merchandise unavailable for purchase by legitimate shoppers. In some cases this can also trigger unnecessary restocking of inventory from a supplier or manufacturer. The inventory hoarding bots never make a purchase; they are simply designed to disrupt the availability of inventory.
O primeiro passo para interromper ou gerenciar o tráfego de bots em um site é incluir um arquivo robots.txt. Trata-se de um arquivo que fornece instruções para que os bots rastreiem a página e que pode ser configurado para evitar que os bots visitem ou interajam com a página do site. Vale notar que apenas os bots do bem obedecem às regras do arquivo robots.txt, porém este não poderá evitar que bots maliciosos rastreiem um site.
Várias ferramentas podem ajudar a mitigar o tráfego de bots abusivos. Uma solução de rate limiting é capaz de detectar e evitar o tráfego de bots originário de um único endereço de IP, embora continue negligenciando uma grande quantidade de tráfego de bots maliciosos. Além do rate limiting, um engenheiro de rede pode examinar o tráfego de um site e identificar solicitações de rede suspeitas, fornecendo uma lista de endereços de IP a serem bloqueados por uma ferramenta de filtragem, como um WAF. Trata-se de um processo muito trabalhoso e, ainda assim, interrompe apenas uma parte do tráfego de bots maliciosos.
Separate from rate limiting and direct engineer intervention, the easiest and most effective way to stop bad bot traffic is with a bot management solution. A bot management solution can leverage intelligence and use behavioral analysis to stop malicious bots before they ever reach a website. For example, Cloudflare Bot Management uses intelligence from millions of Internet properties and applies machine learning to proactively identify and stop bot abuse. Super Bot Fight Mode, available on Pro and Business plans, offers smaller organizations similar visibility and control over their bot traffic.
Vendas
Sobre bots
Ataques de bots
Gerenciamento de Bots
Glossário
Navegação no Centro de Aprendizado