¿Qué es la gestión de bots? | ¿Cómo funcionan los administradores de bots?

¿Qué es la administración de bots?

La gestión de bots consiste en bloquear el tráfico de bots no deseado o malintencionado de Internet, permitiendo al mismo tiempo el acceso de los bots útiles a las propiedades web. La gestión de bots consigue este objetivo al detectar la actividad de los bots, discernir entre el comportamiento deseado y no deseado de los mismos, e identificar las fuentes de la actividad no deseada.

La gestión de bots es necesaria porque, de lo contrario, pueden causar graves problemas a las propiedades web. Un tráfico de bots excesivo puede saturar los servidores web y ralentizar el tráfico o provocar que se deniegue el acceso a usuarios legítimos (a veces se puede entender como un ataque DDoS). Los bots malos pueden apropiarse o descargar contenido de un sitio web, robar credenciales de usuarios, difundir rápidamente contenidos de spam y realizar otros tipos de ciberataques.

¿Qué hace el administrador de bots?

Un administrador de bots es un producto de software que gestiona bots, con la capacidad de bloquear algunos y permitir el paso de otros, en lugar de bloquear todo el tráfico que no sea humano. Por ejemplo, si todos los bots están bloqueados y los bots de Google no pueden indexar una página, esa página no aparecerá en los resultados de búsqueda de Google, lo que reduce muchísimo el tráfico orgánico del sitio web.

Un buen administrador de bots logra los siguientes objetivos:

• Diferenciar los bots de los visitantes humanos
• Identificar la reputación de los bots
• Identificar las direcciones IP de origen del bot y bloquearlo en función de la reputación de la IP
• Analizar el comportamiento del bot
• Agregar bots "buenos" a las listas de permitidos
• Desafiar a los posibles bots mediante una prueba CAPTCHA, inyección de JavaScript u otros métodos.
• Limitar la velocidad a cualquier bot potencial que esté abusando del servicio.
• Denegar el acceso a cierto contenido o recursos a los bots "maliciosos"
• Brindar contenido alternativo a los bots

¿Qué es un bot?

Un bot es un programa informático que opera en una red. Los bots están programados para hacer ciertas acciones de manera automática. Por lo general, las tareas que hace un bot son bastante simples, pero un bot puede hacerlas una y otra vez a una velocidad mucho mayor que un ser humano.

Por ejemplo, Google usa bots para rastrear constantemente las páginas web e indexar el contenido para las búsquedas. Un equipo humano necesitaría una enorme cantidad de tiempo para revisar el contenido distribuido en Internet, pero los bots de Google pueden mantener el índice de búsqueda de Google bastante actualizado.

A modo de ejemplo negativo, los spammers usan bots para recopilar direcciones de correo electrónico en Internet. Los bots rastrean las páginas web, buscan texto que tenga formato de dirección de correo electrónico (texto + @ símbolo + dominio) y guardan ese texto en una base de datos. Naturalmente, un humano podría revisar páginas web en busca de direcciones de correo electrónico, pero como estos bots de recopilación de correos electrónicos son automáticos y solo buscan texto que se ajuste a ciertos parámetros, son exponencialmente más rápidos para encontrar direcciones de correo electrónico.

A diferencia de un usuario humano, que accede a Internet a través de un navegador web tradicional, como Google Chrome o Mozilla Firefox, un bot no lo hace de esta manera. En lugar de usar un mouse (o un teléfono inteligente) y hacer clic en el contenido visual en un navegador, los bots son programas de software que envían solicitudes HTTP (entre otras actividades) y, por lo general, usan lo que se conoce como "navegador sin interfaz gráfica".

¿Qué hacen los bots?

Los bots pueden pueden llevar a cabo cualquier tarea repetitiva trivial, es decir, todo aquello que se pueda automatizar. Pueden interactuar con una página web, rellenar y enviar formularios, hacer clic en enlaces, escanear (o "rastrear") texto y descargar contenido. Además, pueden "ver" vídeos, publicar comentarios, dar "me gusta" o "retuitear" en las redes sociales. Algunos bots pueden incluso mantener conversaciones básicas con humanos, lo que se conoce como chatbots.

¿Cuál es la diferencia entre los bots buenos y los bots maliciosos?

Sorprendentemente, muchas fuentes estiman que alrededor de la mitad de todo el tráfico de Internet es tráfico de bots. Del mismo modo en que parte del software, no todo, es malware, algunos bots son maliciosos y otros son "buenos".

Cualquier bot que haga un mal uso de un producto o servicio en línea se considera "malicioso". Hay varios tipos de bots maliciosos, desde abiertamente maliciosos, como los bots que intentan ingresar a las cuentas de los usuarios, hasta otros menos maliciosos que hacen un mal uso de los recursos, como los bots que compran boletos en un sitio web de eventos.

Un bot que realiza un servicio necesario o útil se puede considerar "bueno". Los chatbots de atención al cliente, los rastreadores de motores de búsqueda y los bots de monitorización del rendimiento son ejemplos de bots buenos. Estos suelen buscar y respetar las reglas indicadas en el archivo robots.txt de un sitio web.

¿Qué es un archivo robots.txt?

Robots.txt es un archivo en un servidor web que describe las reglas para que los bots accedan a las propiedades en ese servidor. Sin embargo, el archivo en sí no aplica estas reglas. Básicamente, cualquier persona que programe un bot debe seguir un sistema de reglas y asegurarse de que su bot verifique el archivo robots.txt de un sitio web antes de acceder a este. Los bots maliciosos, por supuesto, no suelen seguir este sistema, de ahí la necesidad de administrar los bots.

¿Cómo funciona la administración de bots?

Para identificar bots, los administradores pueden usar desafíos de JavaScript (que determinan si se está usando o no un navegador web tradicional) o desafíos CAPTCHA. También pueden determinar qué usuarios son seres humanos y cuáles son bots mediante un análisis de comportamiento, en el que se compara el comportamiento de un usuario con el comportamiento típico de los usuarios en el pasado. Los administradores de bots deben contar con una importante recopilación de datos de comportamiento de calidad para comparar y lograr esta identificación.

Si se determina que un bot es malicioso, se puede redirigir a otra página o bloquear por completo el acceso a un recurso web.

Se pueden agregar bots buenos a una lista de permisos o a una lista de bots permitidos (lo contrario a una lista de bloqueos). Un administrador de bots también puede distinguir entre los bots buenos y los maliciosos a través de un análisis de comportamiento adicional.

Otro enfoque de administración de bots es mediante el archivo robots.txt para configurar un sistema de trampa o señuelo que se conoce como honeypot. Un honeypot es un blanco u objetivo falso para los actores maliciosos que, cuando acceden a él, quedan expuestos como actores maliciosos. En el caso de un bot, un honeypot podría ser una página web del sitio prohibida para los bots en el archivo robots.txt. Los bots buenos leerán el archivo robots.txt y evitarán esa página web; algunos robots maliciosos rastrearán la página web. Al rastrear la dirección IP de los bots que acceden al honeypot, se pueden identificar y bloquear los bots maliciosos.

¿Qué tipos de ataques mitiga la administración de bots?

Una solución de administración de bots ayuda a detener una variedad de ataques:

• Ataques DDoS
• Ataques DoS
• Relleno de credenciales
• Acceso ilegal a tarjetas de crédito
• Descifrado de contraseña mediante fuerza bruta
• Spam de contenido
• Apropiación de datos/de información de sitios web
• Recolección de direcciones de correo electrónico
• Fraude de anuncios
• Fraude de clics

Estas otras actividades de los bots no siempre se consideran "maliciosas", pero un administrador de bots debe tener la capacidad de mitigarlas de todas formas:

• Acumulación de inventario
• Publicaciones automatizadas en foros o plataformas sociales
• Robo de datos para compras en línea

¿Cómo administra los bots Cloudflare?

Cloudflare tiene la capacidad exclusiva de recopilar datos de miles de millones de solicitudes por día que pasan a través de su red. Con estos datos, Cloudflare puede detectar la actividad susceptible de los bots mediante aprendizaje automático y análisis de comportamiento, y aportar la información necesaria para autorizar los bots buenos y bloquear los bots malos a través de listas de permitidos y lista de bloqueos. Cloudflare cuenta además con una amplia base de datos de reputación de IP. Más información acerca de la gestión de bots de Cloudflare.

El modo Super Bot Fight, ahora disponible en los planes Pro y Business de Cloudflare, está diseñado para ayudar a las organizaciones más pequeñas a defenderse de los ataques de bots, al tiempo que les proporciona más visibilidad de su tráfico de bots.