AIのハルシネーションとは、生成AIモデルがもたらす不正確な応答や誤った応答のことです。
この記事を読み終えると、以下のことができるようになります。
記事のリンクをコピーする
人工知能(AI)のハルシネーションとは、生成AIモデルの出力において発生する虚偽の内容や不正確性を意味します。多くの場合、これらのエラーは、論理的に整合して見える、もしくは正しいように見えるコンテンツの中に隠れています。生成AIと大規模言語モデル(LLM)の利用がますます普及するにつれ、AIによるハルシネーションのケースも多く観察されています。
「ハルシネーション」という用語は隠喩的なものであり、実際にはAIモデルは、精神的に参ってしまった人間のように実際に幻覚に惑わされることはありません。そうではなく、プロンプトに対して現実に対応しない予期せぬアウトプットを生成してしまうのです。パターンを誤認識したり、文脈を誤解したり、限られたデータやバイアスのあるデータを基に予期せぬアウトプットを得たりする場合もあります。
AIのハルシネーションの例として語られているものは、以下のようなものがあります。
AIには様々なユースケースがあり、現実世界でも採用されているものの、多くの場合、AIモデルのハルシネーション傾向は人間の監視なしに完全に信頼することはできないことを意味しています。
すべてのAIモデルは、トレーニングデータとアルゴリズムの組み合わせで構成されています。AIの文脈で言うアルゴリズムとは、コンピュータプログラムが特定の属性をどのように重み付けまたは評価するかを定めた一連の規則です。AIアルゴリズムには、数十億のパラメータ、つまり属性の評価方法に関するルールが含まれています。
生成AIは、何百万、数十億、数兆の例を与えられて学習するもので、トレーニングデータが必要になります。これらの例から、生成AIモデルはデータセット内の項目間の関係を特定することを学習します。通常、データをベクトルとして保存するベクトルデータベースを使い、モデルがデータ項目間の関係を定量化および測定できるようにしています。(「ベクトル」とは、単語や画像などの非数学的タイプを含む、さまざまなデータタイプの数値表現を意味します。)
モデルが訓練されると、受信したプロンプトに基づいて出力を洗練させ続けます。また、開発者は、アルゴリズムのパラメータを変更し続けたり、低ランク適応(LoRA)などの方法を使いより具体的な用途向けにモデルを微調整したりして、モデルを新しい用途に向けて速やかに調整していきます。
これらの経緯を経て、これまでに見たサンプルからテキストや画像を生成することで人間のユーザーからの入力に応答できるモデルが完成します。
しかし、可能性のあるすべてのプロンプトに対してモデルを準備することは不可能であり、人間によるプロンプトは高度に複雑なため、予期しない動作を引き起こす可能性があります。また、広範にわたるトレーニングと微調整を行った後でも、モデルは概念と項目の関係を誤解したり、誤解したりする可能性があります。予期しないプロンプトやパターンの誤認識は、AIのハルシネーションにつながる可能性があります。
トレーニングデータのソースAIモデルは、人間がすべてをレビューできないほど多くのデータを必要とするため、トレーニングデータを検査することは困難になります。レビューされていない訓練データは、不正確に、または特定の方向へと過度に重み付けされている可能性があります。挨拶文を書くように訓練されたAIモデルがあり、その訓練データセットのほとんどがバースデーカードとなっている状態に開発者が気づかない場合を見てみましょう。結果、「お見舞い」カードを書くよう求められた場合など、不適切な文脈でおかしなメッセージを生成する可能性があります。
生成AI設計の本質的な限界AIモデルでは、どの単語や視覚要素が一緒に現れる可能性が高いかを「予測」するに当たり、確率を用いています。統計的分析は、コンピュータがもっともらしく見えるコンテンツ、つまり人間が理解できる可能性が高いコンテンツを作成するのに役立ちます。しかし、統計分析は数学的プロセスであり、言語や意味の微妙な違いが欠落することで、ハルシネーションを起こします。
物理的な世界の直接的な経験の不在:現在、AIプログラムは、外部現実において何かが「真」であるか「偽」であるかを判断できません。一方、例えば人間であれば実験により科学原理が真か偽かを判断できますが、現在AIが自身を訓練できるのは既存のコンテンツに基づいてのみであり、物理的な宇宙で直接訓練することはできません。したがって、特に自らの応答において、正確なデータと不正確なデータを区別するのに苦労することになります。
文脈の理解に苦労:AIはリテラルデータしか見ないため、文化的文脈や感情的な文脈を理解できない場合があり、これが無関係な反応やAIのハルシネーションにつながる可能性があります。例えば、風評被害はAIを混乱させる可能性があります(人間でさえ、風評被害と事実を混同することはよくあります)。
バイアス:データセットの幅が十分でない場合、使用するトレーニングデータに対し、埋め込まれたバイアスが生じる可能性があります。バイアスは、単にAIモデルを特定の種類の答えに偏らせるだけでなく、人種的またはジェンダー間のステレオタイプの助長につながる可能性もあります。
モデルへの攻撃:悪意のある攻撃者は、プロンプトインジェクション攻撃を使用し、生成AIモデルがプロンプトを認識して結果を生成する方法を変えることができます。有名な例として、2016年にMicrosoftがチャットボットTayを立ち上げた際、Twitter(現在はX)ユーザーが提供した情報により出力される回答が汚染され、1日以内に人種差別や性差別を含むコンテンツが生成され始めました。AIモデルはその後より洗練されてきたものの、それでもこのような攻撃に対して脆弱性は残っています。
過剰適合:AIモデルが最初のトレーニングデータセットであまりにも多くのトレーニングが行われると、一般化、トレンドの検出、または新しいデータから正確な結論を導き出す能力を失う可能性があります。また、実際には重要でない訓練データのパターンを検出し、新しいデータを与えられるまでエラーを発見できない場合もあります。こうしたシナリオでは、データがあまりにも訓練データに適合してしまう「過剰適合」と呼ばれます。過剰適合の例として、新型コロナウィルス感染症パンデミック中、病院での新型コロナ患者のスキャンで訓練されたAIモデルが、他の病院が使っていたテキストのフォントを取り上げ始め、そのフォントを新型コロナ診断の予測因子として扱い始めてしまいました。生成AIモデルの場合、過剰適合によりハルシネーションにつながる可能性があります。
開発者はAIのハルシネーションを完全に排除することはできないかもしれないものの、ハルシネーションやその他の不正確さの可能性を減らすための具体的な対策は存在します。
Cloudflare for AIによる、開発者が世界のどこにいてもAIモデルを構築および実行できるようにするための方法をご紹介します。また、Cloudflare Vectorizeにより、開発者がグローバルに分散されたベクトルデータベースでのエンベッディングの生成および保存方法についてご覧ください。
利用開始
人工知能
機械学習
ビッグデータ
用語集
ラーニングセンター