¿Qué es la administración de bots? | Cómo funciona el administrador de bots

La administración de bots implica identificar y bloquear algunos bots de un sitio web o aplicación, y al mismo tiempo permitir el acceso a otros bots.

Share facebook icon linkedin icon twitter icon email icon

Gestión de bots

Metas de aprendizaje

Después de leer este artículo usted podrá:

  • Comprender qué hacen los bots y por qué es necesario administrarlos
  • Conocer qué hacen los productos de administradores de bots
  • Investigar por qué algunos bots deben estar permitidos y otros deben estar bloqueados

¿Qué es la administración de bots?

La administración de bots se refiere al proceso que bloquea el tráfico de bots no deseados o maliciosos, y al mismo tiempo, permite que los bots útiles tengan acceso a las propiedades web. La administración de bots se logra con la detección de la actividad de los bots, la diferenciación entre el comportamiento deseable y el no deseable, y la identificación del origen de la actividad no deseada.

La administración de bots es necesaria, ya que si no se controla a los bots, pueden causar enormes problemas a las propiedades web. Un tráfico excesivo de bots puede generar una carga demasiado grande en los servidores web, disminuir la velocidad o interrumpir el servicio de los usuarios legítimos (a veces en forma de un ataque DDoS). Los bots maliciosos pueden extraer datos o descargar contenido de un sitio web, robar credenciales de usuario, difundir rápidamente contenido de spam y llevar a cabo varios tipos de ataques cibernéticos.

¿Qué hace el administrador de bots?

Un administrador de bots es un producto de software que gestiona bots, con la capacidad de bloquear algunos y permitir el paso de otros, en lugar de bloquear todo el tráfico que no sea humano. Por ejemplo, si todos los bots están bloqueados y los bots de Google no pueden indexar una página, esa página no aparecerá en los resultados de búsqueda de Google, lo que reduce muchísimo el tráfico orgánico del sitio web.

Un buen administrador de bots logra los siguientes objetivos:

  • Diferenciar los bots de los visitantes humanos
  • Identificar la reputación de los bots
  • Identificar las direcciones IP de origen del bot y bloquearlo en función de la reputación de la IP
  • Analizar el comportamiento del bot
  • Agregar bots "buenos" a las listas de permitidos
  • Desafiar a los posibles bots a través de una prueba Captcha, una inyección de JavaScript u otros métodos
  • Limitar la velocidad de los bots que usen un servicio de manera excesiva
  • Denegar el acceso a cierto contenido o recursos a los bots "maliciosos"
  • Brindar contenido alternativo a los bots

¿Qué es un bot?

Un bot es un programa informático que opera en una red. Los bots están programados para hacer ciertas acciones de manera automática. Por lo general, las tareas que hace un bot son bastante simples, pero un bot puede hacerlas una y otra vez a una velocidad mucho mayor que un ser humano.

Por ejemplo, Google usa bots para rastrear constantemente las páginas web e indexar el contenido para las búsquedas. Un equipo humano necesitaría una enorme cantidad de tiempo para revisar el contenido distribuido en Internet, pero los bots de Google pueden mantener el índice de búsqueda de Google bastante actualizado.

A modo de ejemplo negativo, los spammers usan bots para recopilar direcciones de correo electrónico en Internet. Los bots rastrean las páginas web, buscan texto que tenga formato de dirección de correo electrónico (texto + @ símbolo + dominio) y guardan ese texto en una base de datos. Naturalmente, un humano podría revisar páginas web en busca de direcciones de correo electrónico, pero como estos bots de recopilación de correos electrónicos son automáticos y solo buscan texto que se ajuste a ciertos parámetros, son exponencialmente más rápidos para encontrar direcciones de correo electrónico.

A diferencia de un usuario humano, que accede a Internet a través de un navegador web tradicional, como Google Chrome o Mozilla Firefox, un bot no lo hace de esta manera. En lugar de usar un mouse (o un teléfono inteligente) y hacer clic en el contenido visual en un navegador, los bots son programas de software que envían solicitudes HTTP (entre otras actividades) y, por lo general, usan lo que se conoce como "navegador sin interfaz gráfica".

¿Qué hacen los bots?

Los bots pueden hacer esencialmente cualquier tarea repetitiva, no creativa, todo lo se que pueda automatizar. Pueden interactuar con una página web, completar y enviar formularios, hacer clic en los enlaces, escanear (o "rastrear") texto y descargar contenido. Los bots pueden "ver" videos, publicar comentarios, dar me gusta o retuitear en las plataformas de redes sociales. Algunos bots incluso pueden mantener conversaciones básicas con usuarios humanos, estos se conocen como chatbots.

¿Cuál es la diferencia entre los bots buenos y los bots maliciosos?

Sorprendentemente, muchas fuentes estiman que alrededor de la mitad de todo el tráfico de Internet es tráfico de bots. Del mismo modo en que parte del software, no todo, es malware, algunos bots son maliciosos y otros son "buenos".

Cualquier bot que haga un mal uso de un producto o servicio en línea se considera "malicioso". Hay varios tipos de bots maliciosos, desde abiertamente maliciosos, como los bots que intentan ingresar a las cuentas de los usuarios, hasta otros menos maliciosos que hacen un mal uso de los recursos, como los bots que compran boletos en un sitio web de eventos.

Un bot que haga un servicio necesario o útil puede considerarse "bueno". Los chatbots que se usan para servicio al cliente, los rastreadores de motores de búsqueda y los bots de monitoreo de rendimiento son ejemplos de bots buenos. Este tipo de bots, por lo general, buscan las reglas que se describen en el archivo robots.txt de un sitio web, y las acatan.

¿Qué es un archivo robots.txt?

Robots.txt es un archivo en un servidor web que describe las reglas para que los bots accedan a las propiedades en ese servidor. Sin embargo, el archivo en sí no aplica estas reglas. Básicamente, cualquier persona que programe un bot debe seguir un sistema de reglas y asegurarse de que su bot verifique el archivo robots.txt de un sitio web antes de acceder a este. Los bots maliciosos, por supuesto, no suelen seguir este sistema, de ahí la necesidad de administrar los bots.

¿Cómo funciona la administración de bots?

Para identificar bots, los administradores pueden usar desafíos de JavaScript (que determinan si se está usando o no un navegador web tradicional) o desafíos Captcha. También pueden determinar qué usuarios son seres humanos y cuáles son bots mediante un análisis de comportamiento, en el que se compara el comportamiento de un usuario con el comportamiento típico de los usuarios en el pasado. Los administradores de bots deben contar con una importante recopilación de datos de comportamiento de calidad para comparar y lograr esta identificación.

Si se determina que un bot es malicioso, se puede redirigir a otra página o bloquear por completo el acceso a un recurso web.

Se pueden agregar bots buenos a una lista de permisos o a una lista de bots permitidos (lo contrario a una lista de bloqueos). Un administrador de bots también puede distinguir entre los bots buenos y los maliciosos a través de un análisis de comportamiento adicional.

Otro enfoque de administración de bots es mediante el archivo robots.txt para configurar un sistema de trampa o señuelo que se conoce como honeypot. Un honeypot es un blanco u objetivo falso para los actores maliciosos que, cuando acceden a él, quedan expuestos como actores maliciosos. En el caso de un bot, un honeypot podría ser una página web del sitio prohibida para los bots en el archivo robots.txt. Los bots buenos leerán el archivo robots.txt y evitarán esa página web; algunos robots maliciosos rastrearán la página web. Al rastrear la dirección IP de los bots que acceden al honeypot, se pueden identificar y bloquear los bots maliciosos.

¿Qué tipos de ataques mitiga la administración de bots?

Una solución de administración de bots ayuda a detener una variedad de ataques:

  • Ataques DDoS
  • Ataques DoS
  • Relleno de credenciales
  • Acceso ilegal a tarjetas de crédito
  • Descifrado de contraseña mediante fuerza bruta
  • Spam de contenido
  • Apropiación de datos/de información de sitios web
  • Recolección de direcciones de correo electrónico
  • Fraude de anuncios
  • Fraude de clics

Estas otras actividades de los bots no siempre se consideran "maliciosas", pero un administrador de bots debe tener la capacidad de mitigarlas de todas formas:

  • Acumulación de inventario
  • Publicaciones automatizadas en foros o plataformas sociales
  • Robo de datos para compras en línea

¿Cómo administra los bots Cloudflare?

Cloudflare tiene la capacidad exclusiva de recopilar datos de miles de millones de solicitudes por día que pasan a través de su red. Con estos datos, Cloudflare puede identificar la posible actividad de los bots mediante aprendizaje automático y análisis de comportamiento, y proporcionar los datos necesarios para crear una lista de permisos efectiva de bots buenos o una lista de bloqueos de bots maliciosos. Cloudflare también tiene una amplia base de datos de reputación de IP. Obtén más información sobre la administración de bots de Cloudflare.