こんにちは。KDDIアイレット AIDDデザイン室でディレクターをしている ivanov です。

先日、こちらの記事を公開しました。
「『AI秘書の育て方マニュアル』を読んで、実際にAI秘書を作って動かしてみました。」

AI秘書を導入して1ヶ月ほど経ちましたが、その過程でいろいろ気がついたことがありましたので共有したいと思います。
※この気づきは記事作成時点のものであり、今後のAIのバージョンアップや、ご利用のサービス・設定によって当てはまらない場合もございますのでご承知おきください。

AI秘書（イメージ）

AI秘書（イメージ）

AIは学習した情報の平均値に寄せる

生成AIは学習したデータや与えられたデータから推論して生成します。与えられたデータからすべて推論可能な場合は精度が高いアウトプットを生成してくれることがほとんどですが、与えられたデータからすべて推論できない場合は、元々学習しているデータの確率分布に従って推論します。結果として、ありがちな形に寄ってしまいます。そのため、プロジェクトや個人特有の事柄を元に生成してほしい時、その背景などのAIが推論するに足る情報が渡っていないとプロジェクトやその人にとって違和感があるアウトプットを生成する場合があります。また、AIに調査させた結果、AIが一般的な常識で判断したために大事な部分が4分の1ほどまるごと抜けたアウトプットが生成されるようなケースもありました。

このようなケースには、次の対策が有効だと考えています。

  • AIがどういう認識をしているか尋ねる
    • 「自分の認識と合わせたい、どういう認識をしていますか？」
    • 「これからやろうとしていることを教えて」
  • AIが正しく推論できるような資料を渡す

AIは忘れる、省略する

今の私に理由は分からないのですが、AIにこういう作業をしてほしいと依頼すると、大まかな部分は合っているのですが、細かい部分が割愛されていたりすることがあります。また、お願いしたタスクに対して「完了しました」とAIから返答が来たものの省略されていたり、更新していた情報が反映されていなかったりするケースがあり、ミスにつながることがありました。

このようなケースは、以下の対策が有効かと思います。

  • AIのアウトプットをAI自身にチェックさせる
    • 「念の為、生成してもらったアウトプットをチェックして」
    • 「参照した内容に沿っているか、アウトプットを確認して」
  • AIのアウトプットを自分でもチェックする

AIともコミュニケーション上の齟齬が発生する

AIとのチャットを新しくすると、AIはそれまでのチャットの内容と会話の流れを忘れてしまう（※ご利用のサービスや設定によっても異なります）ため、引き継ぎ用のマークダウンファイルを作成したり、毎回AIが確認できるようなドキュメントとして残したりしています。それでも、新しいチャットを開始するとAIとの間に認識のズレが生じるケースがしばしばあります。
このようなケースでは、私は次の対策を実施しています。

  • AIがどういう認識をしているか尋ねる
    • 「自分の認識と合わせたい、どういう認識をしていますか？」
    • 「どう理解したかを簡潔に教えて」
  • 物事の背景もAIに伝えるようにする（その際、なるべく主語を省略しないようにする）

おわりに

AIは人間で言うところの「ポカミス」をすることもあります。これは確率的に生成するという性質上、構造的に起こるものです。ただ、対策を立てることで回避できることも多々あると考えています。AIの特徴を理解し使いこなせれば強力なパートナーになることは間違いありません。より良いAIライフを楽しんでください。