¿Qué es la gestión de bots? | ¿Cómo funcionan los administradores de bots?

¿Qué es la gestión de bots?

La gestión de bots consiste en bloquear el tráfico de bots no deseado o malintencionado de Internet, permitiendo al mismo tiempo el acceso de los bots útiles a las propiedades web. La gestión de bots consigue este objetivo al detectar la actividad de los bots, discernir entre el comportamiento deseado y no deseado de los mismos, e identificar las fuentes de la actividad no deseada.

La gestión de bots es necesaria porque, de lo contrario, pueden causar graves problemas a las propiedades web. Un tráfico de bots excesivo puede saturar los servidores web y ralentizar el tráfico o provocar que se deniegue el acceso a usuarios legítimos (a veces se presenta como un ataque DDoS). Los bots malos pueden apropiarse o descargar contenido de un sitio web, robar credenciales de usuarios, difundir rápidamente contenidos de spam y realizar otros tipos de ciberataques.

¿Qué hace un gestor de bots?

Un gestor de bots es cualquier producto de software que gestione bots. Los gestores de bots deben ser capaces de bloquear determinados bots, pero no todos, esto es, deben ser al mismo tiempo capaces de dejar pasar a los no dañinos. Así, si se bloquean todos los bots, los de Google, por ejemplo, no podrán indexar la página, esta no aparecerá en los resultados de búsqueda y el tráfico procedente de búsquedas disminuirá enormemente.

Un buen gestor de bots está capacitado para alcanzar los objetivos que siguen. Puede:

• Distinguir bots de visitantes humanos
• Averiguar la reputación de los bots
• Averiguar direcciones IP de origen de bots y realizar bloqueos basados en reputación de IP
• Analizar el comportamiento de los bots
• Añadir bots "beneficiosos" a listas blancas
• Desafiar a los posibles bots mediante una prueba CAPTCHA, inyección de JavaScript u otros métodos.
• Limitar la velocidad a cualquier bot potencial que esté abusando del servicio.
• Denegar acceso a ciertos recursos a bots maliciosos o dañinos
• Entregar contenido alternativo a los bots

¿Qué es un bot?

Un bot (derivación de "robot") es un programa de ordenador que opera en la red. Los bots están programados para realizar de forma automatizada determinadas acciones. Normalmente, las acciones que realizan los bots son bastante sencillas, pero pueden repetirlas una y otra vez a una velocidad que un humano jamás sería capaz de alcanzar.

Por ejemplo, Google utiliza bots para rastrear de forma continua todo internet e indexar contenido. Un equipo formado por seres humanos tardaría una cantidad astronómica de tiempo en hacer lo mismo que tales bots. Sin embargo, los bots de Google consiguen mantener bastante actualizado el índice de búsqueda de Google.

Un ejemplo de bot malicioso serían los bots para recopilar direcciones de correo electrónico por todo internet que utilizan los spammers. Estos bots rastrean paginas web en busca de cualquier tipo de texto que siga el formato de una dirección de correo electrónico (texto + arroba + dominio) y guardan después las direcciones halladas en una base de datos. Lógicamente, un humano también puede rastrear páginas web en busca de direcciones de correo, pero los bots, al estar automatizados, y programados además para buscar únicamente texto que reúna determinados parámetros, son capaces de hacerlo a mucha mayor velocidad.

A diferencia de un ser humano que accede a Internet, un bot, normalmente, no lo hace a través de un navegador web tradicional, como Google Chrome o Mozilla Firefox. En vez de usar un ratón o un teléfono inteligente para hacer clic en contenido visual en un navegador, los bots son simplemente programas de software que realizan solicitudes HTTP (entre otras acciones), normalmente utilizando lo que se conoce como navegador sin interfaz gráfica.

¿Qué hacen los bots?

Los bots pueden pueden llevar a cabo cualquier tarea repetitiva trivial, es decir, todo aquello que se pueda automatizar. Pueden interactuar con una página web, rellenar y enviar formularios, hacer clic en enlaces, escanear (o "rastrear") texto y descargar contenido. Además, pueden "ver" vídeos, publicar comentarios, dar "me gusta" o "retuitear" en las redes sociales. Algunos bots pueden incluso mantener conversaciones básicas con humanos, lo que se conoce como chatbots.

¿En qué se diferencian los bots perjudiciales de los beneficiosos?

Por increíble que parezca, muchas fuentes independientes han estimado que en torno a la mitad del tráfico de internet son bots. Y, de igual manera que parte del software existente es malware, hay bots beneficiosos y bots perjudiciales.

Cualquier bot que haga un mal uso de un producto o servicio en línea puede ser considerado perjudicial. Tales bots "perjudiciales" pueden abarcar desde los manifiestamente maliciosos, como los que intentan entrar a la fuerza en las cuentas de los usuarios, hasta los que llevan a cabo otro tipo de abusos más moderados, como, por ejemplo, los que compran entradas en un sitio web de eventos.

Un bot que realiza un servicio necesario o útil se puede considerar "bueno". Los bots de chat de atención al cliente, los rastreadores de motores de búsqueda y los bots de monitorización del rendimiento son ejemplos de bots buenos. Estos suelen buscar y respetar las reglas indicadas en el archivo robots.txt de un sitio web.

¿Qué es un archivo robots.txt?

Un archivo robots.txt es un archivo que se halla en un servidor web y que contiene las reglas de acceso para bots a los activos de internet ubicados en dicho servidor. Ahora bien, tal archivo no se encarga de velar por el cumplimiento de tales reglas. Por este motivo, todo quedaría en mano de los propios programadores de bots, los cuales deberían asegurarse de que sus bots respetasen tales reglas de acceso. Y esto obviamente no sucede así cuando se trata de bots maliciosos. Y de ahí la necesidad de contar con un gestor de bots.

¿Cómo funciona la gestión de bots?

Para detectar bots, los administradores pueden utilizar desafíos de JavaScript (que determinan si se está utilizando o no un navegador convencional) o desafíos CAPTCHA. También pueden discernir qué usuarios son humanos y cuáles no mediante un análisis de comportamiento que compara el comportamiento de un usuario con el comportamiento típico de los usuarios en ocasiones anteriores. Los administradores de bots deben contar con una amplia recopilación de datos de comportamiento de calidad para comparar y lograr este objetivo.

Cuando se determina que un bot es perjudicial, dicho bot puede ser redirigido a otra página o simplemente bloqueado.

Los bots beneficiosos pueden ser incluidos en listas blancas o en listas de bots permitidos (lo opuesto a las listas negras). Un gestor de bots también puede distinguir entre bots beneficiosos y perjudiciales mediante análisis adicionales de comportamiento.

Otra posible forma de gestionar bots es utilizar el archivo robots.txt para crear lo que se conoce como honeypot (literalmente jarro de miel). Se trata de una trampa que se tiende a los bots precisamente para poder descubrirlos con mayor facilidad. Por ejemplo, establecer una página web en el sitio cuyo acceso esté prohibido para bots (según lo dispuesto en robots.txt). Los bots beneficiosos leerán entonces el archivo y se abstendrán de entrar en dicha página mientras que algunos de los perjudiciales sí entrarán para rastrearla. El gestor de bots podrá entonces bloquear las direcciones IP de los bots que hayan caído en la trampa.

¿Qué tipos de ataques de bots no puede mitigar el gestor de bots?

Una solución de este tipo, gestor de bots, puede ayudarte a detener varios tipos de ataques:

• Ataques DDoS
• Ataques DoS
• Relleno de credenciales
• Stuffing de tarjetas de crédito
• Descifrado de contraseñas con ataques de fuerza bruta
• Contenido spam
• Extracción de datos/extracción de información de sitios web (scraping)
• Recolección de direcciones de correo
• Fraude de anuncios
• Fraude de clics

Estas acciones de bots no son siempre consideradas "maliciosas", pero, de todas formas, un buen gestor de bots debería ser capaz de mitigarlas:

• Inventory hoarding (secuestro de inventarios)
• Publicaciones automáticas en foros o plataformas
• Stuffing de carritos de compra

¿Cómo funciona la gestión de bots de Cloudflare?

Cloudflare tiene la capacidad de recopilar datos procedentes de miles de millones de solicitudes diarias canalizadas a través de su red. Con estos datos, Cloudflare puede detectar la actividad susceptible de los bots mediante aprendizaje automático y análisis de comportamiento, y aportar la información necesaria para autorizar los bots buenos y bloquear los bots malos a través de listas de permitidos y lista de bloqueos. Cloudflare cuenta además con una amplia base de datos de reputación de IP. Más información acerca de la gestión de bots de Cloudflare.

El modo Super Bot Fight, ahora disponible en los planes Pro y Business de Cloudflare, está diseñado para ayudar a las organizaciones más pequeñas a defenderse de los ataques de bots, al tiempo que les proporciona más visibilidad de su tráfico de bots.