【検証】AI検索の調査は、結局何問あれば信用できるのか

「AIに引用される情報源」を調べる調査は、各社で問数がまちまちです。100問、300問、なかには数万問規模のものもあります。では実際のところ、ランキングが安定するには何問あれば十分なのでしょうか。本稿は、メール配信システムの調査データ（72問・複数回の計測）を使って、この問いを定量的に検証します。

「何問必要か」は、実は2つの別々の問い

混同されがちですが、調査の信頼性は2つの独立した軸で決まります。

• プロンプト数（カバレッジ）：いろいろな言い方・観点を網羅できているか。少なすぎると、特定の聞き方に偏ります。
• 測定回数（揺らぎ）：AIの回答は都度変わるため、同じ調査を繰り返したときに同じ結果になるか。

この2つは別の問題です。順に見ていきます。

プロンプト数軸：上位は早く決まり、精度は緩やかに上がる

メール配信システムの6つの意図（各12問）を、1個ずつ増やしながらプールし、引用ドメインの上位10件が最終的な72問のランキングにどれだけ一致するかを測りました。意図の組み合わせ順は全720通りを平均しています。

プロンプト数	上位10ドメインの一致率
12問	0.83
24問	0.84
36問	0.85
48問	0.89
60問	0.92
72問	1.00

読み取れることは2つです。

• 上位の顔ぶれは、わずか12〜24問でもおおよそ決まる：最終結果と8割以上が一致します。「誰が引用されているか」をざっくり知るだけなら、少ない問数でも傾向はつかめます。
• 上位10件を正確に固めるには、追加の問数が効く：48問で約9割、60問で約92%。ただし、ここから先は1問あたりの伸びが小さく、精度を詰めるほど費用対効果は逓減します。

各社が掲げる100問・300問は、長い裾野（ニッチな引用元）まで拾うには有効ですが、上位ランキングを知るだけなら過剰だと言えます。

測定回数軸：十分な規模なら、1回でも再現する

次に、揺らぎの問題です。72問×4モデル（＝288回の応答）という同じ規模の計測を、独立して3回実施し、指名ブランドの順位がどれだけ一致するかを見ました。

比較した計測	上位5の一致	上位10の一致	順位相関
1回目 × 2回目	1.00	1.00	0.98
1回目 × 3回目	1.00	0.90	0.97
2回目 × 3回目	1.00	0.90	0.97

上位5ブランドは、3回ともほぼ完全に一致しました（2位と3位が入れ替わる程度）。順位相関も0.97〜0.98と高く、AIの回答が都度変わるにもかかわらず、十分な規模で測れば結果は安定します。揺らぎは、ある程度の応答数を集めると平均化されるためです。

つまり、同じ調査を何度も回す必要は薄い。プロンプト数を確保するほうが、測定回数を増やすより費用対効果が高いと言えます。

実務的な結論

• 上位の傾向を知るだけなら、24〜36問でも十分に近い結果が得られます。
• 上位10件まで正確に固めたいなら、60問前後が一つの目安です。
• 測定は、十分な規模であれば1回でも再現します。回数を増やすより、問数とモデルのカバレッジに投資するほうが効果的です。
• 数万問規模の大規模調査は、長い裾野や時系列の変化を追うには価値がありますが、上位ランキングの把握だけが目的なら必須ではありません。

方法論と限界

• 対象：メール配信システム1カテゴリです。カテゴリによって収束の速さは変わり得ます。
• プロンプト数軸の単位：12問＝1つの意図のまとまりで増やしています。完全にランダムな抽出ではないため、実際の最小必要数はもう少し増減する可能性があります。
• 測定回数軸：独立した3回の計測で比較しました。指名ブランドの順位を対象としています。
• 回答の揺らぎ：本検証自体が、その揺らぎの大きさを測るものです。十分な規模では揺らぎを超えて結果が安定することを確認しました。

---

本稿は、AI検索の計測手法そのものを検証するシリーズの一編です。「質問の言い方で結果は変わるのか」の検証も公開しています。