はじめに

生成 AI は、ビジネスに変革を与える存在として広く利用されています。

セキュリティを生業にする人間としても、生成 AI をビジネスに活用しながら日々の業務を実施するとともに、セキュリティ運用における生成 AI 活用も模索をしています。

しかし、これほどまでに便利な生成 AI ですが、無条件に利用していいかといえばそうではありません。
生成 AI は便利である分、今までとは異なるリスクが考えられます。

ここでは、生成 AI に関するリスクを考えてみたいと思います。

考察

本考察では、クラウドサービスとして提供される 生成 AI ( AWS Bedrock、Google Vertex AI 等 ) について考察します。
Agent を作成し、組織内外に対して Chat や Batch などの手法によって提供されるサービスでの利用を想定しています。

RAG による検索拡張や、LangChain などのフレームワークを利用した拡張も想定して考察します。

本考察では、以下のような利用ケースは想定していません。

  • TensorFlow のような、自身で AI を作成するケース。
  • Gemini などの、SaaS として利用されるサービスを利用するケース。
  • 生成 AI 以外の AI を利用するケース。

先行文献の調査

生成 AI に関するリスクを考察するうえで、先行文献を調査しました。

テキスト生成AI利活用におけるリスクへの対策ガイドブック

現時点でα版であるが、生成 AI をどのようなユースケースに利用してはならないか。
どのような技術的な対策が必要であるか網羅的に記述してあります。

本文書は官公庁を主たる読者と想定していますが、一般の企業も十分に一読の価値がある文書となっています。

デジタル庁 テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）

AI利用時のセキュリティ脅威・リスク調査 調査報告書

IPA による企業・組織の実務担当者に対するアンケートのまとめです。
AI を取り巻く状況や、各組織の検討状況をまとめています。

この資料では、業務での AI 利用について 77.4% の組織が利用しないと回答しています。
また、 60.4% の組織が AI のセキュリティに関する脅威を、『脅威である』と回答しています。

IPA AI利用時のセキュリティ脅威・リスク調査 調査報告書 (PDF)

​​AI Risk Management Framework (AI RMF)

NIST の発行している、Risk Management に関する文書です。
この文書は AI に関する包括的なリスク管理について述べています。

本考察で述べたい生成 AI について考えると、汎用的な記載となっており参照するには技術的な背景の付加が必要であると認識しました。
NIST AI Risk Management Framework

リスクの分類

生成 AI は、以下の通りリスク分類できると考えます。

  • 機密性に関するリスク
    • ユーザーの認証認可
    • ユーザー応答履歴の安全な保管
  • 完全性に関するリスク
    • 追加学習データの紛失
  • 可用性に関するリスク
    • 応答時間および、無限ループ
  • クラウド利用に関するリスク
    • 費用管理
    • ベンダーロックイン
  • AI モデルに関するリスク
    • 生成 AI のモデル選択の不備
    • ファインチューニングに関するリスク
  • AI 出力に関するリスク
    • 提供データの取り扱い
    • Jailbreak
    • ハルシネーション
    • 倫理的リスク
    • AI によるデータ参照 (RAG 含む)

(筆者による考察)

生成 AI に対するリスクを考察した際、今までの分類 (機密性・完全性・可用性 / クラウド固有のリスク) に対して当てはめることができないリスクというものが出てきます。

LLM (Large Language Model) で考えると、クラウドベンダー、サードパーティから出ている LLM モデル (大規模言語モデル) に関するリスクや、ユーザーからのリクエストに応じて生成 AI が作成した出力に関するリスクが、いままでの枠で分類することが難しいリスクとして見えてきます。

また、上述の分類には含めていませんが『生成 AI を利用するべきでない (リスク回避)』する事例も多くあります。
『テキスト生成AI利活用におけるリスクへの対策ガイドブック』に詳しいですが、生成 AI は万能ではありません。
期待する品質が高すぎる場合や、特定の有資格者 (医師法等) の代替として生成 AI を利用することはできません。

それぞれ、固有のリスクとして詳細をみてみます。

AI モデルに関するリスク

LLM モデルは、クラウドベンダーやサードパーティから出ているモデルを選択して活用していくことがほとんどです。
生成 AI エージェントのビジネス活用では、自身で LLM モデルを学習することはほぼ有りません。

そのため、LLM モデル (AI モデル) に固有のリスクというものが出てきます。
いままでの ISMS では『A.15 供給者管理』などの枠組みで管理することになりますが、生成 AI では LLM モデルというのは製品の核となる部分のため、詳細にリスク対応していくことが求められます。

生成 AI のモデル選択の不備

生成 AI のモデル選択は、製品の性能に直結します。
出力内容のハルシネーション (後述) の発生率や、応答ごとの品質ばらつき、タスクとの不適合は生成 AI モデル選択の不備による影響が大きいです。

これは、生成 AI のモデルは単なる言語選択や利用料だけでなく、得意とするタスクに大きな差があるためです。

モデル選択は、実施するタスクやユーザーとの対話方法、モデルの精度などを包括的に検討して選択する必要があります。

ファインチューニングに関するリスク

ファインチューニングは、ベンダーが提供する LLM モデルに対して、ユーザーの持つ教師データを利用して追加学習を行うプロセスです。
一から学習を行うより、少ない教師データから求めるモデルを生成できるため、生成 AI において利用されるチューニングの一つとなります。

教師データは、ある程度の規模かつ実際のやりとりに近いデータであることが望まれます。

ファインチューニングの際に、実際のお客様とのやり取りなどの機密情報を含む情報を教師データにしてしまうと、モデル内に機密情報が組み込まれてしまいます。

完成したモデルから、教師データの情報に機密情報が含まれているか確認するのは非常に難しいため、運用後に情報漏洩が発覚する可能性がでてきます。

ファインチューニングを実施する際は、取り扱うデータに注意が必要です。

AI 出力に関するリスク

AI 出力は、ユーザーのリクエストを受けて自動的に内容を生成し、回答を行います。
この一連のプロセスに対して、サービス提供者は関与が難しいため、生成 AI を利用するうえで重要なポイントとなります。

特に、ビジネスで使う場合には意思決定の上で重要なデータを取り扱う領域となるため、機密性に対する考慮なども合わせて実施することになります。

提供データの取り扱い

生成 AI は、Linux などの OS内 ではなくクラウドの持つ強大なコンピュートリソースを用いて処理されます。

ユーザーの提供した情報はクラウド内で処理されるため、提供データの取り扱いについて十分な精査が必要となります。

モデル開発も行うベンダーの場合、モデル開発のために実際のユーザーによるやり取りデータを必要としています。
こういった生成 AI ベンダー内の用途に、実際のやり取りデータが流用されないか特に注意する必要があります。

Jailbreak

Jailbreak は脱獄などと訳され、管理者の設定した役割を逸脱させる利用者の攻撃です。

ビジネスで利用される生成 AI エージェントは、特定の役割 (自社製品情報に基づくユーザーサポート) を利用者に提供するため、システムプロンプト (管理者の提供するプロンプト) が指定されています。

Jailbreak は、これらの制約を破壊してエージェントを汎用 AI として動作させる攻撃です。

Jailbreak を防ぐためには、ユーザーの入力と生成 AI の出力を監視して不正なやり取りを停止させるなどの手立てが必要となります。

ハルシネーション

ハルシネーションは、生成 AI が尤もらしい (もっともらしい) 誤情報を提供するリスクです。

生成 AI は、尤もらしい回答を生成するための AI 機能であるため、ユーザーの入力に対しては常に流れ的に正しい回答を返します。
しかし、真実でない回答を行う可能性も常に存在しています。

ハルシネーションは生成 AI が常に抱えるリスクです。
RAG などによって生成 AI に正しい情報を提供するとともに、出典をあわせて出力するなど利用する人が判断できる内容を提供するなど対策が必要となります。

倫理的リスク

倫理的リスクは、生成 AI が出力した内容に倫理的な問題が発生するリスクです。
犯罪、薬物、差別など、倫理的に回答するべきでない内容を生成 AI が回答してしまうリスクが考えられます。

生成 AI の出力に人間としての倫理観は存在していないため、これらの回答によって利用者とのトラブルに発展する可能性があります。

生成 AI の回答をユーザーに回答する前に、内容が倫理的な問題を抱えていないか確認するプロセスを導入するなどの対策が必要となります。

AI によるデータ参照 (RAG 含む)

生成 AI エージェントは、RAG (検索拡張生成) や MCP (Model Context Protocol) などの手法によって正しい外部情報を取得します。
これは、管理者などによる手動実行ではなく、生成 AI 自身がクエリを発行することによって実施されます。

生成 AI がクエリを発行するということは、管理者による適切な情報の分離を必要とするということです。

特に利用者のアクセスできる情報が一律でない場合などは、生成 AI が利用者のアクセスしてはいけない情報にアクセスし、回答を行うリスクについて検討が必要です。

役職による分離、顧客間の分離、文書のバージョン間の分離など、アクセスしてはいけない情報を参照しないよう、十分なアクセス権分離を検討する必要があります。

まとめ

生成 AI をビジネスで利用することを考えると、生成 AI 固有のリスクは常に考慮が必要となります。

これは、従来の分類から派生した新しいリスクとなるため、新しいガバナンスが組織に求められるということと考えています。
ISO/IEC 42001 など AI に関するマネジメントシステム も国際標準として定義され、生成 AI に関するマネジメントのあり方も整理されてきています。

生成 AI を安全に利用するために、組織のマネジメントシステムとの統合や、生成 AI 固有のリスクに対する対応が組織には求められています。

生成 AI を使わないという選択は、機会損失という意味で重大なリスクと考えられます。
生成 AI をビジネスで安全に利用するため、本考察が少しでも役に立てば幸いです。