「専門家として振る舞って」の効果は？ペルソナ設定の効果について

はじめに

生成AIを使う際、「あなたは優秀なアシスタントです」「〇〇の専門家として回答して」と役割（ペルソナ）を指定するテクニックは広く知られています。しかし、この「ペルソナの指定」は、事実を問うような客観的なタスクにおいて、本当にAIの成績向上に役立っているのでしょうか？

本記事では、近年調査された下記論文の内容を解説しています。
When “A Helpful Assistant” Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models.（https://arxiv.org/abs/2311.10054）

調査概要

研究チームは、以下の4つの要素を組み合わせて客観的な検証を行っています。

• 2,410問の客観的な問題データ: 法律、医学、コンピュータサイエンス、数学など8つの主要分野にまたがる知識ベンチマークテスト（MMLU）から、客観的な正解が存在する2,410問の選択式問題を厳選して使用
• 162種類のペルソナ: AIに与える役割として、「医師」や「ソフトウェアエンジニア」などの職業だけでなく、「父親」「妻」「友人」といった人間関係や、「AIアシスタント」まで、多岐にわたる162種類のペルソナを用意
• 4つのLLM（大規模言語モデル）: Llama-3、Mistral、Qwen2.5、FLAN-T5という、4つのオープンソースモデルファミリーを使用
• プロンプトの形式: 「あなたは〇〇です」とAI自身に役割を与える形式と、「あなたは〇〇と話しています」と会話相手を指定する形式などを用意し、ペルソナを全く指定しない「コントロール設定」と比較

検証結果

この分析結果について、下記のように記されています。

“Through our analysis, we find that, in general, prompting with personas has no or small negative effects on model performance compared with the control setting where no persona is added.”

（私たちの分析を通じて、一般的に、ペルソナを用いたプロンプトは、ペルソナを追加しないコントロール設定と比較して、モデルのパフォーマンスに影響を与えないか、あるいはわずかに悪影響を及ぼすことが分かりました。）

つまり、「ペルソナを指定することで客観的タスク（正解が存在する問題）の正答率が上がる」という証拠は見つからなかったというのです。

とはいえ、162種類のペルソナ間で成績が完全に全く同じだったわけではなかったようで、ペルソナの「属性」を細かく分析した結果、成績に影響を与えるいくつかの傾向が存在することが分かりました。

具体的には、性別が特定されない「性別中立な役割が優れている」ことや、「仕事・学校に関連する役割がわずかに良い傾向」などがそれに当たります。

他にも、「法律の質問には弁護士を指定する」といったように、質問内容とペルソナの専門分野を一致させることもその一つです。

肌感としては、当然のように効果をあげると想像できますし、実際論文でも「専門分野が一致する役割は概して良い結果をもたらす」とされていますが、続けて以下のように釘を刺しています。

“However, the effect size of domain alignment is relatively small”

（しかし、専門分野の一致による効果の大きさは比較的少ない）

つまり、「専門家」を指定することによる成績の底上げ効果は、私たちが期待するほど大きなものではないというのです。

ではどんなペルソナ指定が最適なのか？

論文の結論部分では、次のように明記されています。

“identifying the best role remains challenging, with most selection strategies performing similarly to random selection. Such a result suggests that the effect of personas on model performance can be largely unpredictable.”

（最適な役割を特定することは依然として困難であり、ほとんどの選択戦略はランダムな選択と同様のパフォーマンスしか示しません。この結果は、ペルソナがモデルのパフォーマンスに与える影響は大部分が予測不可能であることを示唆しています。）

つまり、特定の質問に対して「なぜか正解を導き出せるペルソナ」は確かに存在するものの、事前にそれを予測しペルソナとして指定するのは難しい、というのです。

活用方法

ではこれを踏まえ、普段のAI活用をどうすれば良いのか。
（※ここからは筆者の考えを含みます）

本調査はあくまで「客観的なタスク」を対象としています。
それを大前提とした上で、AI利用者としては下記のように考えるのがベターではないでしょうか。

1. ペルソナ指定なしも考慮

（特に事実を問うような客観的なタスクにおいて、）無駄なペルソナ設定を省き、シンプルに質問だけを投げかける方が結果的には無難なのかもしれません。
単純にプロンプトが短くなるのも良いですね。

2. 出力フォーマットの調整

出力される文章のトーンを調整したり、特定の対話スタイルを定義したりする目的において利用する際は強力なサポートを受けられます。
「ペルソナは、出力された結果を自分が受け取りたい形へ変換する設定値だ」と考えれば、どんなペルソナを指定するかで悩みづらくなるのもメリットだと思います。

まとめ

AIの進歩が凄まじく何がベストな選択肢か悩むことも多いですが、「なんとなく」で利用することが無いよう、常に根拠や仕組みを理解して活用していきたいと思います。