DX開発事業部 モダンエンジニアリングセクションの田村です。
Google Cloud Next ’24現地参加3日目のイベントレポートをお届けいたします。
セッション情報
セッションタイトル：Why LLM Hallucinations are Great for You
このセッションではハルシネーション（幻覚）についてどのように向き合っていくかについて、開発者の目線で考察します。
ハルシネーションとは
言語モデルが一見正確に見えるものの、実際には誤りな情報を生成することを指します。これは意図的なエラーではなく、モデルがトレーニングデータ内の真実と虚偽を区別できないことが原因となっています。
ハルシネーションが明らかなケース
「イギリス海峡を完全に徒歩で横断した世界記録は何ですか?」という問いかけに対し、イギリス海峡を徒歩で渡るのはほぼ不可能なはずですが、「多くの人が徒歩で海峡を渡ろうと試みている」というあり得ない回答を返しています。これはハルシネーションが明らかなので、一見して間違いだと気がつくことができます。
ハルシネーションが明らかでないケース
「Google Next ’24のバッジを無くしたら、取り替えるのにどのくらいお金かかりますか」という問いかけに対し、「100ドルから150ドル」と返しています。実際には間違っているそうですが、事実を知らない人はそもそも正しいかどうか判別ができません。
なぜLLMのハルシネーションが役に立つのか
テスト中にハルシネーションを発見した場合は何に注意をするべきなのか分かりますし、ハルシネーションの種類によってデータ生成のアプローチを変えるなどの手段を取ることができます。
ハルシネーションの種類
1. Input-Conflicting: モデルは、ユーザーが提供したソース入力から逸脱したコンテンツを生成します。
2. Context-Conflicting: モデル自体が、以前に生成された情報と競合するコンテンツを生成します。
3. Fact-Conflicting: モデルは、よく知られている事実や一般知識と矛盾するコンテンツを生成します。
4. Forced: 外部ユーザーがJailbreak（脱獄）技術を使用して、展開されたプロンプトのシステムプロンプト構成を破壊しようとした場合に発生する可能性があります。
ハルシネーションを考える
できるだけ犯罪の可能性が低い場所に家を建てるケースを見てみます。
近隣の犯罪率という1つの側面だけでいうと「A」の方が3%になっているため、AIは「A」を選択する可能性は高いです。そこに警備システムという新たな側面があると計算結果が変わり「B」の方が安全ということになります。
これがまさにハルシネーションを考える際にAIで起こっていることで、今回の例でいう警備システムという側面の適切な監視を無視/軽視してしまうことがあるようです。
ハルシネーションの正しい緩和方法
適切なガバナンスには複数の防御壁による対応が必要です。
1. Rules-Based Models（ルールベース）：機密性の高いユースケースを特定するための人間中心設計
2. Predictive Models（予測）：堅牢でパフォーマンスが高く、効率的に監査可能な実装
3. Generative Models（生成）：モデルの整合性を確認するためのデータ評価とモデル動作のためのツール
シナリオからの逸脱
特定のシナリオでは特定の質問が想定されるため、質問が範囲や文脈から完全に外れている場合、モデルはハルシネーションを起こす可能性があります。そのため設定できる対応策としては、ユーザーの質問を実際にスクリーニングし、質問が主題に沿っていること、およびモデルがこれらの質問に正しく答えるようにトレーニングされていることを確認することです。
Jailbreakに備える
機密情報にアクセスできる権限者として振る舞うように指示し、口座情報を引き出そうとしている。
大規模言語モデルに明示的にコーディングされたルールを回避しようとするユーザーの試みであることを検出させます。
また、機密情報や個人情報を抜き出すことができる振る舞いは行わないように設定し、検知した場合は固定文章が返ることを確認します。
ハルシネーションに備える
LLMのレスポンスが低品質であったり、逸脱した回答を生成しないよう正しいドキュメントからグラウンディングする。または回答の根拠を文章中に示すという手段も良いかもしれません。
まとめ
生成AIを活用していく上では避けれないハルシネーションの問題について定義から見直すことができ、その種類や複数の防御壁による対応など新しい発見がある内容でした。ハルシネーションが発生するのは実装が不適切なことが原因になるため、ハルシネーションと向き合いアプローチの方法を検討し直すなどを考慮すべきだということを学べました。
 |
4月19日16時より「【iret presents】Google Cloud Next’24 Recap」を開催します。4月9～11日にラスベガスで開催される Google Cloud が主催する「Next’24」のポイントを解説する Recap イベントです。
詳細はこちら： |
