¿Qué es la administración de bots? | Cómo funciona el administrador de bots

La administración de bots implica identificar y bloquear algunos bots de un sitio web o aplicación, y al mismo tiempo permitir el acceso a otros bots.

Share facebook icon linkedin icon twitter icon email icon

Gestión de bots

Metas de aprendizaje

Después de leer este artículo usted podrá:

  • Comprender qué hacen los bots y por qué es necesario administrarlos
  • Conocer qué hacen los productos de administradores de bots
  • Investigar por qué algunos bots deben estar permitidos y otros deben estar bloqueados

¿Qué es la administración de bots?

Con la administración de bots se bloquea el tráfico de bots no deseados o maliciosos, y al mismo tiempo se permite que los bots que resultan útiles tengan acceso a las propiedades web. Esto se logra al detectar la actividad de los bots, al establecer la diferencia entre comportamiento deseable y no deseable, y al identificar el origen de la actividad no deseada.

La administración de bots es necesaria, ya que si no se los controla, pueden causar enormes problemas a las propiedades web. Un tráfico excesivo de bots puede generar una carga demasiado grande en los servidores web, disminuir la velocidad o interrumpir el servicio de los usuarios legítimos (a veces en forma de un ataque DDoS ). Los bots maliciosos pueden extraer datos o descargar contenido de un sitio web, robar credenciales de usuario, difundir rápidamente contenido de spam y llevar a cabo varios tipos de ataques cibernéticos.

¿Qué hace el administrador de bots?

Un administrador de bots es un producto de software que gestiona bots, con la capacidad de bloquear algunos y permitir el paso de otros, en lugar de bloquear todo el tráfico que no sea humano. Por ejemplo, si todos los bots están bloqueados y los bots de Google no pueden indexar una página, esa página no aparecerá en los resultados de búsqueda de Google, lo que reduce muchísimo el tráfico orgánico del sitio web.

Un buen administrador de bots logra los siguientes objetivos:

  • Diferenciar los bots de los visitantes humanos
  • Identificar la reputación de los bots
  • Identificar las direcciones IP de origen del bot y bloquear en función de la reputación de la IP
  • Analizar el comportamiento de los bots
  • Agregar bots "de buena reputación" a las listas de aprobación
  • Desafiar los posibles bots a través de una prueba Captcha, una inyección de JavaScript u otros métodos
  • Limitar la velocidad de los bots que usen un servicio de manera excesiva
  • Denegar el acceso a cierto contenido o recursos a los bots "maliciosos"
  • Brindar contenido alternativo a los bots

¿Qué es un bot?

Un bot es un programa informático que opera en una red. Los bots están programados para hacer ciertas acciones de manera automática. Por lo general, las tareas que hace un bot son bastante simples, pero un bot puede hacerlas una y otra vez a una velocidad mucho mayor que un humano.

Por ejemplo, Google usa bots para rastrear constantemente páginas web e indexar contenido para las búsquedas. Un equipo humano necesitaría una enorme cantidad de tiempo para revisar el contenido distribuido en Internet, pero los bots de Google pueden mantener el índice de búsqueda de Google bastante actualizado.

A modo de ejemplo negativo, los spammers usan bots para recopilar direcciones de correo electrónico en Internet. Los bots rastrean las páginas web, buscan texto que tenga formato de dirección de correo electrónico (texto + @ símbolo + dominio) y guardan ese texto en una base de datos. Naturalmente, un humano podría revisar páginas web en busca de direcciones de correo electrónico, pero como estos bots de recopilación de correos electrónicos son automáticos y solo buscan texto que se ajuste a ciertos parámetros, son exponencialmente más rápidos para encontrar direcciones de correo electrónico.

A diferencia de un usuario humano, que accede a Internet a través de un navegador web tradicional como Google Chrome o Mozilla Firefox, un bot no lo hace de esta manera. En lugar de usar un mouse (o un teléfono inteligente) y hacer clic en el contenido visual en un navegador, los bots son programas de software que envían solicitudes HTTP (entre otras actividades) y, por lo general, usan lo que se conoce como "navegador sin interfaz gráfica".

¿Qué hacen los bots?

Los bots pueden hacer esencialmente cualquier tarea repetitiva, no creativa, todo lo se que pueda automatizar. Pueden interactuar con una página web, completar y enviar formularios, hacer clic en enlaces, escanear (o "rastrear") texto y descargar contenido. Los bots pueden "ver" videos, publicar comentarios, dar me gusta o retuitear en las plataformas de redes sociales. Algunos bots incluso pueden mantener conversaciones básicas con usuarios humanos, que se conocen como chatbots.

¿Cuál es la diferencia entre los bots de buena reputación y los bots maliciosos?

Sorprendentemente, muchas fuentes estiman que alrededor de la mitad de todo el tráfico de Internet es tráfico de bots. Del mismo modo en que parte del software, no todo, es malware, algunos bots son maliciosos y otros tienen "buena reputación".

Cualquier bot que haga un mal uso de un producto o servicio en línea se considera "malicioso". Hay varios tipos de bots maliciosos, desde abiertamente maliciosos, como los bots que intentan ingresar a las cuentas de los usuarios, hasta otros menos maliciosos que hacen un mal uso de los recursos, como los bots que compran boletos en un sitio web de eventos.

Un bot que haga un servicio necesario o útil puede considerarse de "buena reputación". Los chatbots que se usan para servicio al cliente, los rastreadores de motores de búsqueda y los bots de monitoreo de rendimiento son ejemplos de bots de buena reputación. Este tipo de bots, por lo general, buscan y acatan las reglas que se describen en el archivo robots.txt de un sitio web.

¿Qué es un archivo robots.txt?

Robots.txt es un archivo en un servidor web que describe las reglas para que los bots accedan a las propiedades en ese servidor. Sin embargo, el archivo en sí no aplica estas reglas. Básicamente, cualquier persona que programe un bot debe seguir un sistema de reglas y asegurarse de que su bot verifique el archivo robots.txt de un sitio web antes de acceder al sitio. Los bots maliciosos, por lo general, no siguen este sistema, de ahí la necesidad de administrar los bots.

¿Cómo funciona la administración de bots?

Para identificar bots, los administradores pueden usar desafíos de JavaScript (que determinan si se está usando o no un navegador web tradicional) o desafíos Captcha. También pueden determinar qué usuarios son humanos y cuáles son bots mediante un análisis de comportamiento, es decir que se compara el comportamiento de un usuario con el comportamiento típico de los usuarios en el pasado. Los administradores de bots deben contar con una importante recopilación de datos de comportamiento de calidad para comparar y lograr esta identificación.

Si se determina que un bot es malicioso, se puede redirigir a otra página o bloquear completamente el acceso a un recurso web.

Se pueden agregar bots de buena reputación a una lista de aprobación o a una lista de bots permitidos (lo contrario a una lista negra). Un administrador de bots también puede distinguir entre bots de buena reputación y maliciosos a través de un análisis de comportamiento adicional.

Otro método de administración de bots es mediante el archivo robots.txt para configurar un sistema de trampa o señuelo que se conoce como honeypot. Un honeypot es un blanco u objetivo falso para actores maliciosos que, cuando acceden, quedan expuestos como actores maliciosos. En el caso de un bot, un honeypot podría ser una página web del sitio en la que el archivo robots.txt prohíbe los bots. Los bots de buena reputación leerán el archivo robots.txt y evitarán esa página web; algunos robots maliciosos rastrearán la página web. Al rastrear la dirección IP de los bots que acceden al honeypot, se pueden identificar y bloquear los bots maliciosos.

¿Qué tipos de ataques mitiga la administración de bots?

Una solución de administración de bots ayuda a detener una variedad de ataques:

Estas otras actividades de los bots no siempre se consideran "maliciosas", pero un administrador de bots debe tener la capacidad de mitigarlas independientemente:

  • Acumulación de inventario
  • Publicaciones automatizadas en foros o plataformas sociales
  • Robo de datos para compras en línea

¿Cómo administra los bots Cloudflare?

Cloudflare tiene la capacidad exclusiva de recopilar datos de miles de millones de solicitudes por día que pasan a través de su red. Con estos datos, Cloudflare puede identificar la posible actividad de los bots mediante aprendizaje automático y análisis de comportamiento, y proporcionar los datos necesarios para crear una lista de aprobación efectiva de bots de buena reputación o una lista negra de bots maliciosos. Cloudflare también tiene una amplia base de datos de reputación de IP. Obtén más información sobre administración de bots de Cloudflare.