【検証】質問の「言い方」を変えると、AIが薦めるサービスは変わるのか

「おすすめのメール配信システムは？」と「おすすめのメール配信ツールは？」。意味はほぼ同じですが、AIは同じ答えを返すのでしょうか。本稿は、意味を保ったまま言い方だけを変えた13通りの質問を生成AIに投げ、引用される情報源と薦められるブランドがどれだけ入れ替わるかを検証したレポートです。

何を調べたか

メール配信システムの「おすすめを尋ねる」というひとつの意図に対し、4つの軸で言い方を変えた13通りの質問を用意しました。

軸	変えたところ	例
語彙	名詞を入れ替える	システム / ツール / サービス / ソフト
依頼形	聞き方を変える	教えて / どれ / 比較して / 5つ挙げて / ランキングで
長さ	文の長さ・丁寧さ	「メール配信システム おすすめ」〜長い丁寧文
立場	質問者の属性を加える	BtoBマーケ担当 / 情シス担当 / 個人事業主

基準は「おすすめのメール配信システムを教えてください」。各バリアントを ChatGPT・Gemini・Perplexity・Google AI Overviews で計測し、引用ドメインの重なり率（上位10件のJaccard係数）と薦められたブランドの重なり率を測りました。重なり率が低いほど、言い方で結果が動いたことを意味します。

結論：言い方で、答えは変わる

軸ごとの「重なり率の平均」は次の通りです。数値が低いほど、その言い方の違いで結果が大きく動いたことを示します。

軸	引用ドメインの重なり率	薦められたブランドの重なり率
語彙（ツール／システム）	0.48	0.83
依頼形（教えて／比較して）	0.44	0.82
長さ（短文／長文）	0.43	0.64
立場（ペルソナ）	0.16	0.59

最も結果を動かしたのは、**質問者の立場（ペルソナ）**でした。「個人事業主です」「従業員500名の情シス担当です」と一言加えるだけで、引用される情報源の8割以上が入れ替わります。一方で、語彙や依頼形の違いは、引用ドメインは動かしても、最終的に薦められるブランドは比較的安定していました。

薦められる「No.1」は、言い方で6種類に割れた

13通りの質問それぞれで「最も多く名指しされたブランド」を見ると、6つのブランドがトップを分け合いました。

言い方	トップに立ったブランド
基準（〜システム）	ブラストメール
〜サービス	HubSpot
「5つ挙げて」	Cuenote FC
「どれですか」「ランキングで」	WiLLMail
「従業員500名の情シス担当です」	WEBCAS
「個人事業主です」	Benchmark Email

同じ「おすすめのメール配信システム」を尋ねていても、言い方を変えるとAIの一番のおすすめが変わる。たとえば「システム」を「サービス」に言い換えるだけで、首位がブラストメールからHubSpotに入れ替わりました。立場を「個人事業主」にすると、海外勢のBenchmark Emailが前に出ます。

なぜ重要か

この結果は、AI検索に関わる2つの立場に示唆を与えます。

• 計測する側（自社の登場率を測りたい人）：たった一つの言い方で測ると、結果が偏ります。AEOの可視化は、複数の言い方を束ねて平均で見るべきです。本シリーズで1意図あたり複数のプロンプトを使っているのは、このためです。
• 対策する側（引用されたい企業）：狙う顧客の立場や言い回しによって、AIが見る情報源が変わります。「個人事業主」向けと「大企業の情シス」向けでは、引用されるページが違う。ペルソナ別にコンテンツの入り口を用意する余地があります。

方法論と限界

• 対象：メール配信システムの「おすすめ」意図のみ、13バリアント。他カテゴリ・他意図での一般化は今後の検証課題です。
• 重なり率の単位：引用ドメインは上位10件、ブランドは言及されたものの集合で比較しました。
• 回答の揺らぎ：AIの回答は都度変動します。本検証は固定したバリアント集合での相対比較として読んでください。言い方による差は、この揺らぎを超えて観測されたものです。

---

本稿は、AI検索の計測手法そのものを検証するシリーズの一編です。「結局、何問あれば信用できるのか」という収束の検証も、続けて公開予定です。