AndgelListがCloudflareで悪性ボットを根絶

背景

AngelListは、世界最大のスタートアップコミュニティです。スタートアップに関心を持つすべての人の成功のために適切なリソースを見つけられるように支援することをミッションとし、スタートアップのための資金調達、優れた人材の雇用、世界市場での製品発売などのお手伝いを目標にしています。AngelListの企業グループは、AngelList Talent、AngelList venture、Product Huntから構成され、2018年には、10億ドル以上の資産を一括管理し、求人では200万人の候補者、各種メーカーによる2万点以上の製品発売を支援しました。

課題

ソーシャルネットワークの価値は、プラットフォームを利用し、貢献する人によって決定されます。もし自動化されたボットを使って作成された偽のアカウントがプラットフォームに殺到したら、中核となる価値提案が損なわれることになりかねません。AngelListは、ソーシャルネットワークがボット主導のアカウント流入で氾濫し始め、収益やユーザーリテンション率の低下、さらに重要なAngelListの評判を脅かすという事態に直面しました。

2018年後半、AngelListの製品エンジニアは、スパムボットが偽のプロフィールを構築し、AngelListが所有する機密情報や貴重な情報(候補者の履歴書、スタートアッププロフィール、投資家プロフィール、求人情報など)をスクレイピングしているのを発見しました。

AngelListはまず、偽のアカウントを特定し、悪意のあるボットトラフィックを防止するソリューションを構築して、この問題を社内で解決しようとしました。そして、悪質なボットのいくつかを阻止することに成功しましたが、プラットフォームではさらに多くの悪意のあるボットが動作していることがわかりました。結局、プロセス全体が想定していたよりも時間のかかるもので、リソースを消費することだということが判明したのです。この時、AngelListはCloudflareがボット攻撃の軽減に特化した新製品を開始したことを知りました。

「Cloudflareに出会う前は、社内ボット管理ソリューションに頼っていましたが、必ずしも効果的とは言えませんでした。ユーザーを自動的に禁止するしきい値を作成しましたが、それでも当社のプラットフォームで不正行為をするユーザーをたくさん逃していることがわかっていました。」
 
— Tony Bruess氏
製品エンジニア、AngelList

Cloudflareでボット管理

AngelListでは、JavaScriptやその他のクライアント側のコードなどを注入するという面倒なことをせずに、簡単にCloudflareのボット管理をデプロイすることができました。初日から、ボットトラフィックを迅速に特定し、はるかに高い精度でリアルタイムに軽減することができました。

By leveraging machine learning and behavioral analysis across the 25 million Internet properties on its network, Cloudflare’s bot management solution automatically scores every request that AngelList receives and sets thresholds to distinguish between threats and trusted sources. During the first month of its deployment, AngelList’s domains issued 39 million CAPTCHAs to over half a million IP addresses. Only 0.0033% percent of these CAPTCHAs were false positives (issued to actual customers).

決定処理(良性トラフィックと悪性トラフィックを区別する処理)が配信元ではなくCloudflareのエッジでサポートされるため、Cloudflareのボット保護技術を利用することで、AngelListはレイテンシーを短縮し、パフォーマンスの高速化を図ることができました。さらに、AngelListはCloudflareの包括的なパフォーマンスとセキュリティポートフォリオ(Argo、DDoS対策、多様なIPレピュテーションデータベースを含む)を備えたボット管理を統合することができています。これにより、悪意のあるボットとの戦いに向け、一層強化されました。

「Cloudflareは何千万ものWebサイトに機械学習を用いて、当社Webサイトに対して不正行為を行う不正ボットを速やかに特定することができます。Cloudflareの軽減策は、正規のユーザーに影響を与えることなく、ボットを阻止してくれます。おかげで、当社の誤検知率は0.03%まで低減しました。」
— Tony Bruess氏
製品エンジニア、AngelList

Key Results

• AngelListはCloudflareを利用することで、すぐに悪意のあるボットを高い精度で特定し、抑止できました。

• AngelListでは、配信元サーバーではなくCloudflareのエッジで決定処理が行われるため、レイテンシーを削減できました。

「Cloudflareは何千万ものWebサイトに機械学習を用いて、当社Webサイトに対して不正行為を行う不正ボットを速やかに特定することができます。Cloudflareの軽減策は、正規のユーザーに影響を与えることなく、ボットをブロックしてくれます。

Tony Bruess氏
プロダクトエンジニア