Survey

客観的に状況を把握する市場調査
明治⼤学商学部加藤拓⺒
Marketing #04

View Slide

位置付け
顧客管理と効果測定
戦略と実⾏
価値づくりの考え⽅
調査による客観的な状況把握
#01 マーケティング
#02 ブランドマネジメント
#04 市場調査
#07 科学的検証
#08 感性⼯学
#05 消費者⾏動
#03 ロイヤルティとCRM
#10 クチコミ
#09 戦略と組織能⼒
仮説⽴案具現化検証
#06 知覚品質

View Slide

2. 結果を決めてしまう調査設計
4. どのように可視化すべきか︖
1. 調査・検証のプロセス
3. 調査に潜むバイアス
5. まとめ

View Slide

顧客に”答え”を聞くのは，調査ではない

View Slide

意味の乏しい「顧客に答えを聞く調査」
独創的な新製品をつくるヒントを得ようとしたら，市場調査の効⼒はゼロとなる．
⼤衆の知恵は決して創意などはもっていないのである．
⼤衆は作家ではなく，批評家なのである．
本⽥宗⼀郎1
グラハム・ベルは電話を発明したとき，市場調査をしたと思うか︖
顧客が今後何を望むようになるのかを本⼈よりも早くつかむのが我々の仕事だ．
Steve Jobs2
なにが欲しいかと顧客に尋ねていたら，『⾜が速い⾺』といわれたはずだ．
⼈々はみんな，実際に“それ”を⾒るまで，“それ”が欲しいかなんてわからない．
Henry Ford2
1:本⽥宗⼀郎.(2005).やりたいことをやれ.PHP 研究所，30.
2: Gallo, C. (2010). The Innovation Secrets of SteveJobs. New York : McGraw-Hill Education.(井⼝耕⼆(訳).(2011).スティーブ・ジョブズ驚異のイノベーション.⽇経 BP，180-213.)

View Slide

調査の位置付け
顧客に聞く
顧客の知覚で
仮説検証する
のではなく
• ⽬的は知りたい項⽬をひたすら聞く
• 調査したい項⽬があれこれ出てくる
• ⽬的は仮説検証ただ1つ
• 調査設計を考え抜く

View Slide

「客観的な状況把握」だけでは過去に囚われる
過去とその延⻑線しか知ることができないことから，
状況把握のみに依存すると，新たな価値を⽣み出すことが難しくなる．
過去その延⻑戦
×
消費者の回答
↑
この知覚を把握することは
出発点にすぎない

View Slide

「客観的に俯瞰し，主観的に仮説を⽴て，冷徹なほど客観的に検証する」の繰り返し
調査・検証プロセス
客観的な
状況の把握
仮説づくり価値づくり仮説⽴証
客観的な
状況の把握
主観的な
仮説⽴案
仮説の
具現化
科学的な
仮説検証
• 認知
• 購⼊意向
• ⽀払意思額
• 推奨意向
• ブランドイメージ
• 困りごとの発⾒
• コンセプト策定
- 何に困っている⼈に
- 何を
- どのように
• コンセプト具現化
• ⾼い知覚品質
• プロトタイピング
による繰り返し
• 科学的根拠に
基づく意思決定

View Slide

客観的な
状況の把握
仮説づくり価値づくり仮説⽴証
客観的な
状況の把握
主観的な
仮説⽴案
仮説の
具現化
科学的な
仮説検証
• 認知
• 購⼊意向
• ⽀払意思額
• 推奨意向
• ブランドイメージ
• 困りごとの発⾒
• コンセプト策定
- 何に困っている⼈に
- 何を
- どのように
• コンセプト具現化
• ⾼い知覚品質
• プロトタイピング
による繰り返し
• 科学的根拠に
基づく意思決定
今回の位置付け
消費者の知覚を，いかに客観的に把握するか︖
出発点である
客観的な状況把握
今回の対象

View Slide

5. まとめ

View Slide

EUにおける臓器提供の同意率
「同意するならチェック」と「同意しないならチェック」では，⼤きく結果が変わる
Hague, P. (2019). The Impact of Behavioural Economics on Market Research. B2B International, https://www.b2binternational.com/ publications/behavioural-
economics/ (last accessed September 30, 2019)
オプトアウト質問
オプトイン質問

View Slide

統計という嘘
適切な調査設計をしなければ，
得られたデータはウソやゴミになってしまう
“嘘には３種類ある．嘘，⼤嘘，そして統計だ．”
元イギリス⾸相ベンジャミン・ディズレーリ

View Slide

調査の⽬的

View Slide

統計調査の⽬的
⺟集団 (神のみぞ知る世界)
⺟平均μ, ⺟標準偏差σ, ⺟集団サイズN
標本(サンプル)
標本平均 !
", 標本標準偏差s,
標本サイズn
標本抽出・調査⺟集団の推定
全数調査は現実的に難しいため，限られた標本から⺟集団を推定すること
(⼿元の調査データを知ることが⽬的ではない)

View Slide

(参考) 例外の国勢調査
• ⽇本在住のすべての⼈及び世帯を対象とする統計調査
• 国や地⽅公共団体の政治・⾏政を公正で効率的に⾏うことが⽬的
• 総務省統計局が5年に1度実施
• 1920年の第1回から数えて， 2020年は21回⽬
• 10年ごとに⼤規模調査，その中間年に簡易調査
• 予算規模は650億円/回 (2005年時)
• 国勢調査員は約85万⼈，国勢調査指導員は約9万⼈
• 紙の調査票を調査員が訪問回収・郵送回収することが中⼼だが，
2015年よりオンライン調査を導⼊
統計局. 国勢調査について. https://www.stat.go.jp/info/kenkyu/kokusei/pdf/census.pdf
統計局.令和2年国勢調査実施計画. http://www.stat.go.jp/info/kenkyu/kokusei/yusiki32/pdf/06sy0203.pdf

View Slide

誤差とは
調査の⽬的は⺟集団を知ることであり，サンプルを分析することではない
真値
(⺟集団)
推定値
(サンプル)
誤差
知りたいもの⼿元にあるもの

View Slide

標本誤差と⾮標本誤差
誤差
標本誤差
(sampling error)
⾮標本誤差
(non- sampling error)
標本調査における⺟集団を推定する際の誤差．
確率論によって標本誤差の範囲は計算可能．
標本調査以外のすべての誤差．
・無回答誤差︓無回答の⼈の発⽣率に偏り
・サンプリング誤差︓⾮確率抽出で⽣じる偏り
・⼈的ミスによる誤差︓調査実⾏，⼊⼒，集計など
上⽥拓治. (2010). マーケティングリサーチの論理と技法. 4, ⽇本評論社.

View Slide

調査のプロセス

View Slide

調査の有益さ(意思決定に役⽴つか否か)は，調査設計までで概ね決まってしまう
仮
説
構
築
%
⽬
的
定
義
調
査
企
画
調
査
設
計
調
査
画
⾯
1
制
作
事
前
調
査
6
7
8
確
認
本
調
査
<
=
>
?
@
=
A
B
C
集
計
分
析
%
⽰
唆
導
出
この範囲で調査の有益さが決まる
・意図せずに信頼性の低い結果が出る
・意図的に結果を歪める

View Slide

仮
説
構
築
%
⽬
的
定
義
調
査
企
画
調
査
設
計
調
査
画
⾯
1
制
作
事
前
調
査
6
7
8
確
認
本
調
査
<
=
>
?
@
=
A
B
C
集
計
分
析
%
⽰
唆
導
出

View Slide

調査の⽬的定義
なぜ調査するのか，⽬的を明確にする
何の問題を解決したいのか︖
何を明らかにしたいのか︖
仮説は何か︖
どのように検証するか︖
仮説が⽀持された場合，どのような⾏動を起こすか︖

View Slide

仮
説
構
築
%
⽬
的
定
義
調
査
企
画
調
査
票
設
計
調
査
画
⾯
1
制
作
事
前
調
査
6
7
8
確
認
本
調
査
<
=
>
?
@
=
A
B
C
集
計
分
析
%
⽰
唆
導
出

View Slide

調査企画
項⽬内容
調査背景調査結果からどんな⾏動に繋げようとしているか︖
1
調査⽬的
調査によって何を明らかにするのか︖
どんな仮説を⽴証しようとしているのか︖
2
調査対象者調査対象の⺟集団は何か︖(属性, 状況など)
3
サンプリング標本の代表性を担保するためにどのようにサンプリングするか︖
5
調査項⽬
⽬的を達成するには何をどの順序で聴取するか︖
項⽬数はどの程度にするのか︖(項⽬数が増えるほど、回答品質低下・回収率低下)
8
調査回数・時期調査は1度か, 定点観測か︖ 時期はいつに設定するのか︖
7
調査⽅法
どのように調査するのか︖(オンライン調査，⾏動追跡調査，インタビュー調査等)
有効回答率を踏まえた調査配信数はどうするか︖
6
サンプルサイズ許容できる誤差の範囲からサンプルサイズはどうするか︖
4

View Slide

サンプルサイズ ≠ サンプル数
※標本サイズ(サンプルサイズ)のことを標本数(サンプル数)と呼ぶ誤⽤が散⾒
サンプルサイズ = 1 回の標本抽出において調査した個体数
サンプル数 = サンプルという集団の個数
• サンプルサイズ = 200
• サンプル数 = 5
⺟集団
標本2
n=200
標本1
n=200
標本5
n=200
・・・

View Slide

正規分布 (Normal distribution)
※標準正規分布:平均0で標準偏差が1の正規分布
平均μ, 標準偏差σの左右対称な釣鐘型の分布
(正規分布を仮定することでデータの特徴を理解しやすくする)
偏差値は，平均50，標準偏差10の正規分布である
Ø 偏差値40-60の範囲に，全体の68.3%の⼈が該当する
Ø 偏差値70とは，上位から2.3%の位置を意味する
μ σ 2σ 3σ
-3σ -2σ -σ
μ ± σ = 約68.3%
確率変数
確率密度
μ ± 2σ = 約95.5%
μ ± 3σ = 約99.7%
Image: Wikipedia

View Slide

最⼩分析単位の考慮
最⼩分析単位が少ないと分析できないため，サンプルサイズの決定には⽬的が必要
(最⼩分析単位で30-50程度のサイズが必要)
例︓性別×年代が最⼩分析単位で，⽬標サンプルサイズ385の場合
全体では満たしても，20代×男⼥の分析は難しい

View Slide

調査企画
項⽬内容
1
調査⽬的
2
3
5
調査項⽬
8
7
調査⽅法
6
4

View Slide

サンプルサイズを満たしても，代表性がない標本では⺟集団を推定できない
サンプリングの基本はランダム(無作為)
偏って抽出している標本の例︓銀座を歩いていた100⼈に調査
※(調査実施⽇時の)平⽇13:00-14:00に銀座を歩く⼈が対象の⺟集団で，無作為に声がけしたなら良い
●
●
●
● ●
▲
■
★
★ ★
★
★
■
■
■
■
▲
▲
▲
▲
⺟集団
●
★
■
▲
●
★
■
▲
ランダムに抽出した
標本1
偏って抽出した
標本2
●
■
▲
●
●
●
●
■
⺟集団の代表性がある⺟集団の代表性がない

View Slide

調査したい⺟集団と⼿元の情報を踏まえて，適切なサンプリング⽅法を決定する
サンプリング⽅法の決定
シンプルランダムサンプリング
⺟集団から完全に無作為に調査対象を抽出
層別サンプリング
⺟集団がいくつかの層に分かれている場合，
各層のから必要な数の対象を無作為に抽出
クラスターサンプリング
⺟集団を構成する⼩集団(クラスター)に対して，
⼩集団をランダムに抽出
+ 最も基本的な考え⽅
⺟集団の構成リストが必要
(例)電話番号リストから乱数表で対象者を決定
+ ⺟集団を層別に推定できる
⺟集団の層の構成⽐を把握する/決定する必要
(例)性別×年代の層で⼈⼝動態⽐に即して抽出
+ クラスター情報があればサンプリングが容易
クラスター内は偏りがあるため偏る懸念
(例)学⼒測定のために全国の⾼校をランダム抽出

View Slide

ウェイトバック集計
⺟集団の構成⽐に即した標本を抽出できなかった場合，
標本の構成⽐を⺟集団に合わせるように補正して代表性を担保する
⺟集団に合致
ウエイト値 = 対象属性の⺟集団サイズ ÷ 対象属性の標本サイズ × (標本サイズ ÷ ⺟集団サイズ)
(例)男性65歳〜74歳
ウエイト値 = 6,078,716 ÷ 507 × (2,308÷22,343,025) = 1.24
内閣府政策統括官. (2003).平成14年度⾼齢者の健康に関する意識調査結果, https://www8.cao.go.jp/kourei/ishiki/h14_sougou/html/0-1.html

View Slide

調査企画
項⽬内容
1
調査⽬的
2
3
5
調査項⽬
8
7
調査⽅法
6
4

View Slide

代表的な調査⽅法⼀覧
区分 No 調査⽅法内容
定量 1 訪問調査調査員が対象者の⾃宅を訪問して，質問する調査⽅法
2 郵送調査調査票と返送⽤封筒を対象者に郵送し，回答した調査票を期⽇までに返送してもらう調査⽅法
3 電話調査対象者リストに基づいて，調査員が対象者(世帯)に電話をかけ，電話内で質問をする調査⽅法
4 ランダムディジットダイヤリング(Random Digit Dialing, RDD) 無作為に数字を組み合わせて番号を作り，調査員が電話をかけて調査する⽅法
5 オンライン調査調査会社が保有する調査パネル(モニター)等に，Webページにアクセスしてもらい，回答を得る定量的な調査⽅法
6 ホームユーステスト (Home Use Test, HUT) 家庭で実⽣活の中で商品・サービスを使⽤してもらい，感想を調査する⽅法
7 オンライン⾏動ログ調査 CookieによるWebサイトの⾏動ログ等のデータを利⽤した調査⽅法
8 オフライン⾏動ログ調査スマートテレビによるテレビ広告等の視聴ログや，スマートフォンによる位置情報ログ等のデータを利⽤した調査⽅法
定性 9 デプスインタビュー調査員と対象者1対1で，インタビュー形式で深く聞き込む調査⽅法
10 フォーカスグループインタビュー (Focus Group Interview, FGI) 調査員1⼈と対象者複数⼈で，より⾃然な意⾒を収集することを狙う調査⽅法
11 会場調査(Central Location Test, CLT) 専⽤の会場を⽤意して，対象者に商品・サービス等を使⽤してもらい，感想を調査する⽅法
12 店頭陳列調査調査員が店舗を訪問して，商品の陳列状態や販促物の設置状況を観察する調査⽅法
13 ショップアロング調査調査員が同⾏しながら，対象者に店舗で買い物してもらい，商品・サービスを買うまでの感じたことを調査する⽅法
14 ミステリーショッパー調査員が消費者のふりをして店舗に訪問し，商品・サービス・従業員の応対等を調査する⽅法
15 エスノグラフィ調査員が対象⺠族と⾏動を共にしながら⽇常の⾏動様式を詳細に記述する，⽂化⼈類学等で利⽤される調査⽅法
その他 16 ⽂献調査図書館やオンラインで，統計データや論⽂・書籍等の⽂献を調査する⽅法
17 店舗導線調査ビデオカメラやビーコン等を使⽤し，店舗での対象者の導線を調査する⽅法
18 アイトラッキングアイトラッキングデバイスを利⽤し，対象者の商品・サービス利⽤中や店舗で買い物中の視線の動きを調査する⽅法
19 表情解析商品・サービスの利⽤中などの対象者の表情を解析し，使⽤後ではなく，リアルタイムの感情を調査する⽅法
20 ⽣体情報・ニューロサイエンス⼼拍などの⽣体情報，脳⾎流・脳波などの脳活動を専⽤機器でデータ化し，対象者の感性を調査する⽅法

View Slide

サンプルサイズよりも重要な有効回答率
抽出したサンプルが偏っていなかったとしても，
そのサンプルで回答した⼈に偏りがあっては代表性があるとは⾔えない
有効回答率60%
500⼈に調査
300⼈
有効回答率0.6%
50,000⼈に調査
300⼈
信頼性が異なる

View Slide

調査企画
項⽬内容
1
調査⽬的
2
3
5
調査項⽬
8
7
調査⽅法
6
4

View Slide

価値づくりにおける測定すべき消費者の知覚
認知消費者が知らないと何も始まらない
「買いたいほどではない」では価値ではない
「安いなら買う」では価値が低い
「1回で⼗分」では利益率が低い
(再購⼊意向・推奨意向)
コンセプトが理由で
なければ再現性が低い
購⼊意向
⽀払意思額
ロイヤルティ
コンセプト
想起率
定点観測では，時系列で⽐較するため，やみくもに項⽬を増やさず，絞って固定すべき

View Slide

ブランド認知の⽔準
トップオブマインド
ブランド想起
ブランド認識
ブランド未知
認知度
低
⾼
⼼の中で最上位の認知である
純粋想起で最初に挙げたブランド
カテゴリーに属するブランドを
挙げてもらう純粋想起で確認
選択肢を提⽰して，認識している
ブランドを問う助成想起で確認
選択肢を提⽰しても認識がない
Aaker, D. A. (1991). Managing brand equity. Free Press. (陶⼭計介ら訳. (1994). ブランド・エクイティ戦略. ダイヤモンド社)

View Slide

設問の順序
調査対象者の負担が少なく，⾃然に回答でき，バイアスを考慮した順序に
⾏動モデル認知→興味→検索→購⼊→シェア等の⾏動の順序に則して質問する
事実と感情店舗への訪問や商品の購⼊等の事実を質問した後に，その感情・感想を問う
⼀般と個別⼀般的な質問から始め，対象者のみに個別の(詳細な)質問をする
関連質問関連する質問は分断せずに，まとめて質問する
想起⽅法純粋想起と助成想起を併⽤する場合，純粋想起を先に質問
順序バイアス前の質問は後の質問に影響を与えるため，バイアスを避けたい指標は先に質問

View Slide

回答形式
調査⽬的と設問項⽬を踏まえて，適切な回答形式を選択する
No 回答形式内容
1 単⼀回答 (Single Answer, SA) 複数の選択肢から，その中から1つ選ぶ回答形式
2 複数回答 (Multiple Answer, MA) 複数の選択肢から，その中から複数選択可能な回答形式
3 制限付き複数回答 (Limited Answer, LA) 複数の選択肢から，その中から上限がある複数選択の回答形式
4 ⾃由回答 (Free Answer, FA) 単語や⽂章で⾃由に記述する回答形式 (⽂字数の上下限を設ける場合もある)
5 数値配分回答複数の選択肢に対して，合計が⼀定の数(例︓100点)になるように配分する回答形式
6 順位回答⽤意された複数の選択肢に順位をつける回答形式
7 ⼀対⽐較複数の選択肢の順位について，1対1で⽐較して順位を明確に回答する形式
8 数値回答数値で⾃由に回答する形式
9 助成想起企業・商品ブランドの認知等を調査する際に，⽤意された選択肢から選ぶ回答形式
10 純粋想起企業・商品ブランドの認知等を調査する際に，選択肢を提⽰せずに⾃由に回答する形式

View Slide

助成想起の危険性
助成想起での提⽰は過⼤評価に誘導する傾向があり，純粋想起のほうが望ましい
A群 B群
Q.これら3社のうちの1社が最⾼品質のカメラを製造する可能性はどのくらいか︖
評価の偏向がなければ平均50%前後になるはずだが，
選択肢を提⽰されたことで過⼤評価が発⽣
Kardes, F. R., Sanbonmatsu, D. M., Cronley, M. L., Houghton, D. C. (2002). Consideration set overvaluation: When impossibly favorable ratings of a set of brands are
observed. Journal of Consumer Psychology, 12(4), 353-361.

View Slide

“純粋想起型SA”のススメ
企業・商品の辞書を⽤意することで，バイアスを軽減してコード化された回答を得る
Q. あなたが最も購⼊を検討している⾞名をお答えください．
「フ」と⼊⼒「フィット」と⼊⼒
「fit」と⼊⼒「フィッツ」と⼊⼒

View Slide

仮想市場評価法 (CVM; Contingent Valuation Method)
1: Ciriacy-Wantrup, S. V. (1947). Capital returns from soil-conservation practices. Journal of farm economics, 29(4), 1181-1196.
2: Murphy, J. J., Allen, P. G., Stevens, T. H., Weatherhead, D. (2005). A meta-analysis of hypothetical bias in stated preference valuation. Environmental and Resource
Economics, 30(3), 313-325.
3: ⽵内憲司. (1996). CVM は使えるか?. 公共選択の研究, 1996(27), 55-66.
• 価格を持たない・市場に存在しない価値に対する⽀払意思額(WTP)の評価法1
• 質問形式は，主に以下の3種類ある．
- Open-ended ︓⾦額を⾃由回答で問う．
提⽰情報の内容に依存する，アンカリングバイアスが懸念
- Bidding game︓⾦額を(上げながら/下げながら)提⽰し，⽀払意志をYes/Noで問う
初期提⽰額が妥当でないと真値と乖離する初期点バイアスが懸念
- Payment card︓選択肢を提⽰し，最⼤限払っても良いと感じるものを選択
選択肢の範囲に縛られる，範囲バイアスが懸念
• しかし，被験者は実際に⽀払う必要がないことから，仮想的な評価に過ぎず，
バイアスが⽣じる．表明されたWTPは真のWTPに⽐べて⾼い回答になる2

View Slide

仮想市場評価法に対する批判
1: Desvousges, W. H., Reed Johnson, F., Dunford, R. W., Nicole Wilson, K., Boyle, K. J. (1993). Measuring natural resource damages with contingent valuation.
Contingent valuation: A critical assessment. Emerald Group Publishing Limited, pp. 91-164.
包含効果(embedding effect)
評価対象が数量的に⼤きくなる/質的に向上するときに，
CVMの評価額がそれに応じて⼤きくならないこと
原油流出の防⽌による⽔⿃保護の価値1
A︓2,000⽻保護 B︓20,000⽻保護 C︓200,000⽻保護
!"#!
= $80
!"#"
= $78
!"##
= $88

View Slide

仮想市場評価法の条件
⽀払意思額(Willingness To Pay, WTP)と受⼊意思額(Willingness To Accept, WTA)2
WTA︓ある価値を⼿放す場合に，その代償として受け⼊れられる最低限度の⾦額(売値)
WTP︓ある価値を⼿に⼊れる場合に，対価として⽀払う最⼤限度の⾦額(買値)
※⼀般に市場で取引される財の場合はWTAの⽅が2倍程度で，公共物の場合は10倍以上に
1: Cummings, R. G. (1986). Valuing environmental goods. An Assessment of the Contingent Valuation Method, 104-107.
2: Kahneman, D., Knetsch, J. L., Thaler, R. H. (1991). Anomalies: The endowment effect, loss aversion, and status quo bias. Journal of Economic perspectives, 5(1),
193-206.
• 被験者は評価する価値に馴染みがあり，理解していなければならない
• 被験者は当該価値について，事前に評価・選択した経験がなければならない
• 提⽰する情報に，不確実性を含めてはならない
• WTAではなく，WTPを引き出さなければならない
ROCs (Reference Operating Conditions)1

View Slide

仮想市場評価法を⽤いた研究
• 江⼾城外堀のアオコ発⽣による悪臭を改善するための施策に関する
便益を評価1
• 地球温暖化対策のため，ガソリンの代替燃料として，割⾼なバイオエ
タノールのWTPを評価2
• 積雪で不作が⽣じている岩津ねぎにおける「除雪技術による安定供
給」について，妥当な値上げ⾦額を推定3
• ⾞のエクステリアの知覚品質の向上が⽀払意思額に与える影響の評価4
1:吉岡佐, 栗栖聖, 花⽊啓祐. (2015). 江⼾城外濠における⽔質改善施策のモデル評価と費⽤便益分析. ⽔環境学会誌, 38(1), 9-21.
2:⾓崎俊⼀郎, ⽮部光保. (2007). ⾃動⾞⽤国産バイオエタノール燃料の導⼊に対する⽀払意思額に関する研究. 農村計画学会誌, 26, 347-352.
3:加藤雅宣, 寺脇拓, 福嶋昭. (2007). 伝統野菜の安定供給に対する消費者の⽀払意志額. 農業経営研究, 45(1), 73-78.
4:加藤拓⺒. (2019).⾃動⾞のエクステリアデザインにおける仕上げが⽀払い意思額に与える影響の定量的評価. 応⽤統計学, 48(3).

View Slide

⽂献調査におけるソースの種類
1次ソース
・調査データ
・論⽂の筆者主張
・企業のリリース
・創造物
2次ソース
・分析結果と解釈
・専⾨書籍
・専⾨家の報告書
・(事実の)ニュース
3次ソース
・⼀般向け書籍
・⼀般向け記事
・百科事典
・教科書
次数が増えるにつれ，情報量が減り，異なる意図が追加されるため，
コストをかけて⽣み出された1次・2次ソースを重視すべき

View Slide

アジェンダ
5. まとめ

View Slide

バイアスの種類
バイアスは調査のあらゆるプロセスに潜むため，発⽣メカニズムを理解して調査設計
調査票
調査プロセス
調査時期
サンプリング
調査・データ回収
• 設問数の⻑さ
• 調査画⾯の設計
• シーズナルバイアス
• 対象の⾏動からの経過時間
• ⺟集団の⾮代表性
• 回答デバイス
• バンドワゴン効果・アンダードッグ効果
• 多国間の⽐較
調査設計
意思決定 • 意思決定の根拠

View Slide

シーズナルバイアス
1: Kato, T. (2022). Demand Prediction in the Automobile Industry Independent of Big Data. Annals of Data Science, 9(2), 249–270.
2: Wright, J. A., Yang, H., & Walker, K. (2012). Do international surveys and censuses exhibit ʻDry Seasonʼbias?. Population, space and place, 18(1), 116-126.
3: Khandker, S. R. (2012). Seasonality of income and poverty in Bangladesh. Journal of Development Economics, 97(2), 244-256.
季節等の周期によって消費者⾏動に影響を与えるバイアス．
2時点の調査を⽐較する際，⽐較不可能な時点を選んではいけない．
• ⾃動⾞の販売台数は，メーカーの決算⽉である3⽉に販売が増加する1
• 64カ国の国勢調査を⾒ると，⾬期を避けて実施され，乾季バイアスが懸念2
• バングラデシュでは，⽶の収穫前に⾷糧不⾜になる傾向がある3

View Slide

「わからない」の回答率
購⼊後の経過年
耐久消費財における「再購⼊⾏動・意向」の難しさ
10年スパンの耐久消費財では，再購⼊意向をすべての⼈に聴取することは難しい
Kato, T. (2019). Loyalty management in durable consumer goods: trends in the influence of recommendation intention on repurchase intention by time after purchase.
Journal of Marketing Analytics, 7(2), 76-83.
再購⼊意向の回答可否購⼊経過年別の回答可否
わからない
26.5%

View Slide

調査票
調査プロセス
調査時期
サンプリング
調査設計

View Slide

設問数の⻑さ
設問の意味を理解し，記憶を取り出し，選択肢を選ぶのは負荷が⼤きいため，
回答時間は5分以内(15問以内)1,2とすることが調査の基本である。
• 調査が⻑いほど，回答率・回答品質が低下する3
• 後半の質問は，回答がよりいい加減になり，速く，均⼀で，低品質になる4
• PCに⽐べ，スマートフォンでの回答は，品質を保つために調査は短くすべき5
1:Revilla, M., & Ochoa, C. (2017). Ideal and maximum length for a web survey. International Journal of Market Research, 59(5), 557-565.
2: Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743.
3: Fan, W., & Yan, Z. (2010). Factors affecting response rates of the web survey: A systematic review. Computers in human behavior, 26(2), 132-139.
4: Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349–360.
5: Revilla, M., & Höhne, J. K. (2020). How long do respondents think online surveys should be? New evidence from two online panels in Germany. International Journal of Market
Research, 62(5), 538-545.

View Slide

しかし，実態は...
主に以下3つの理由から，調査項⽬は膨⼤になり，低品質が常態化
• 広告代理店等は，⼤量の指標をとっておけば，何かしら良くなる指標を探せる
• 調査会社は，質問数が増えるほど儲かる
• 事業会社は，多くの部⾨から多くの要求を受け，⽬的があいまいになる

View Slide

調査画⾯の設計
同じ項⽬を調査したとしても，画⾯環境によって，その回答結果は変化する
• 調査の招待メール冒頭に，名前を記載することで参加率が増加する1
• ⻑いスクロールより，短い設問数でのページ遷移の⽅が無回答率が少ない2
• ドロップダウンより，ラジオボタンの⽅が回答の誤りが少ない3
• ⾃由回答では，テキストボックスを⼤きく表⽰することで⽂字数が増加する4
1: Sauermann, H., & Roach, M. (2013). Increasing web survey response rates in innovation research: An experimental study of static and dynamic contact design
features. Research Policy, 42(1), 273-286.
2: Peytchev, A., Couper, M. P., McCabe, S. E., & Crawford, S. D. (2006). Web survey design: Paging versus scrolling. International Journal of Public Opinion Quarterly,
70(4), 596-607.
3: Healey, B. (2007). Drop downs and scroll mice: The effect of response option format and input mechanism employed on data quality in web surveys. Social Science
Computer Review, 25(1), 111-128.
4: Maloshonok, N., & Terentev, E. (2016). The impact of visual design and response formats on data quality in a web survey of MOOC students. Computers in Human
Behavior, 62, 506-515.

View Slide

調査票
調査プロセス
調査時期
サンプリング
調査設計

View Slide

市場代表性
偏った標本を抽出してしまうと，⺟集団を推定することが困難に
1: Smith, A. B., King, M., Butow, P., & Olver, I. (2013). A comparison of data quality and practicality of online versus postal questionnaires in a sample of testicular
cancer survivors. Psycho-oncology, 22(1), 233-237.
2: Kato, T., Kishida, N., Umeyama, T., Jin, Y., & Tsuda, K. (2020). A random extraction method with high market representation for online surveys. International
Journal of Business Innovation and Research, 22(4), 569-584.
3: Auspurg, K., Schneck, A., & Thiel, F. (2020). Different samples, different results? How sampling techniques affect the results of field experiments on ethnic
discrimination. Research in Social Stratification and Mobility, 65, 100444.
• 郵送調査と⽐較して，オンライン調査は学歴が⾼い⼈が参加しやすい1
• 調査会社の保有するパネルでは，⾦銭的インセンティブを⽬的にした⼈の偏り2
• 調査時に，⼀部の⼈種・⺠族を排他してしまうサンプリングバイアスが懸念3

View Slide

回答デバイス
同じ項⽬を調査したとしても，デバイスによって，その回答結果は変化する
PCに⽐べて，スマートフォンで回答する⽅が
回答に時間がかかり1，回答完了率が低くなり，測定誤差が⼤きくなる3
1: Couper, M. P., & Peterson, G. J. (2017). Why do web surveys take longer on smartphones?. Social Science Computer Review, 35(3), 357-377.
2: Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743.
3: Lugtig, P., & Toepoel, V. (2016). The use of PCs, smartphones, and tablets in a probability-based panel survey: Effects on survey measurement error. Social Science
Computer Review, 34(1), 78-94.

View Slide

調査票
調査プロセス
調査時期
サンプリング
調査設計

View Slide

弱者を応援したい気持ち・強者に便乗したい気持ち
• アンダードッグ効果︓愛らしい敗者や弱者を⽀援したいという願望1
• バンドワゴン効果︓予想される多数派や⽀配的地位に加わる傾向2
• 2つの効果はほぼ相殺されると考えられているが，⼗分に⽴証されていない3
途中結果がわかると，その状況から影響を受けて，⾔動が変化してしまう
1:Paharia, N., Keinan, A., Avery, J., & Schor, J. B. (2011). The underdog effect: The marketing of disadvantage and determination through brand biography. Journal of
Consumer Research, 37(5), 775-790.
2: Schmitt-Beck, R. (2015). Bandwagon effect. The international encyclopedia of political communication, 1-5.
3:峰久和哲. (2010). 新聞の世論調査⼿法の変遷 (< 特集> 世論と世論調査). マス・コミュニケーション研究, 77, 39-58.

View Slide

⽇本⼈の中間回答傾向
• アメリカ⼈と⽐較して，⽇本⼈は最も良い/悪い回答を嫌う傾向がある1
• この特性は，ポジティブな項⽬ほど抑制する傾向が強くなる2
• 対策例として，各国での選択肢の強弱調整が提唱3 (しかし，正解はない)
⽇本︓「1.満⾜，2.やや満⾜， 3.やや不満，4.不満」
アメリカ︓「1. very satisfied, 2. satisfied, 3. unsatisfied, 4. very unsatisfied」
複数国での調査は，単純に⽐較すると回答傾向によるバイアスが懸念
1:Iwata, N., Okuyama, Y., Kawakami, Y., & Saito, K. A. Z. U. O. (1989). Prevalence of depressive symptoms in a Japanese occupational setting: a preliminary study.
American Journal of Public Health, 79(11), 1486-1489.
2:Iwata, N., Saito, K., & Roberts, R. E. (1994). Responses to a self-administered depression scale among younger adolescents in Japan. Psychiatry Research, 53(3),
275-287.
3: 吉野諒三，林⽂，⼭岡和枝.(2010).国際⽐較データの解析:意識調査の実践と活⽤.20-95，朝倉書店.

View Slide

Tesla利⽤者の満⾜度分布
同じ商品を対象にした場合でも，回答傾向が国によって異なる
満⾜度 (5段階)
⼈数

View Slide

⾞利⽤者のブランド推奨意向の分布
11段階調査の上位2回答の割合
0%
10%
20%
30%
40%
50%
60%
70%
India
U
S
Brazil
Thailand
U
K
G
erm
any
China
Japan
回答割合

View Slide

調査票
調査プロセス
調査時期
サンプリング
調査設計

View Slide

意思決定の根拠
同じ分析結果であっても，受け取り⼿の状況によって，意思決定が変化してしまう
1: Zhu, T. (2022). Accounting for the last-sampling bias in perceptual decision-making. Cognition, 223, 105049.
2: Mitsuda, T., & Yoshioka, Y. (2018). Final Sampling Bias in Haptic Judgments: How Final Touch Affects Decision-Making. Perception, 47(1), 90-104.
3: Walmsley, S., & Gilbey, A. (2019). Understanding the past: Investigating the role of availability, outcome, and hindsight bias and close calls in visual pilots'
weather-related decision making. Applied cognitive psychology, 33(6), 1124-1136.
4: Mamede, S., Goeijenbier, M., Schuit, S. C., de Carvalho Filho, M. A., Staal, J., Zwaan, L., & Schmidt, H. G. (2021). Specific disease knowledge as predictor of
susceptibility to availability bias in diagnostic reasoning: a randomized controlled experiment. Journal of general internal medicine, 36(3), 640-646.
• 意思決定において，最後にサンプリング調査した結果に影響を受けやすい1
• 2つのアイテムを⽐較して選択する場合，最後に評価したものを選択する傾向2
• 直前に読んだレポートによって，その後の評価に影響が⽣じる3
• 知識の低い医師は，知識の⾼い医師よりも，利⽤可能性バイアスに陥りやすい4
※印象に残るものや⾝近にあるものを基準に選択する傾向

View Slide

バイアスを悪⽤すれば，どんな結果も狙うことができてしまう．
その悪⽤の代表例は「No.1調査」問題．

View Slide

世に溢れる「No.1調査」
• 価値づくりができない企業は，安易に「XX No.1」を訴求する傾向
• 売上のような事実なら嘘はつけないが，「顧客満⾜度」のような主観的指標は，
バイアスを利⽤すれば，どんな結果でも創出できてしまう
• 実際，「No.1調査」を受託するような悪質な調査会社が存在
調査にあたって，バイアスの存在を知らないことが最も恐ろしい状態である
⽇本マーケティングリサーチ協会の抗議状1
“No.1を謳うために結果ありきの調査を誘導する姿勢に強く抗議をする”
1:⽇本マーケティングリサーチ協会. (2022).⾮公正な「No.1 調査」への抗議状. https://www.jmra-net.or.jp/rule/20220118.html

View Slide

バイアスの捉え⽅
バイアスを完全になくすことは，おおよそ不可能である．
バイアスの存在と発⽣原因を把握し，対象者の状況を考慮して
最⼤限バイアスを低減する調査設計を⾏うことが重要である．
調査にあたって，バイアスの存在を知らないことが最も恐ろしい状態である

View Slide

アジェンダ
5. まとめ

View Slide

円グラフ Before
最も⼤きい箇所を判断できない(3D)円グラフは決して使ってはならない
Brand 1 Brand 2 Brand 3 Brand 4 Brand 5 Brand 6 Brand 7
NG

View Slide

3D円グラフ After
1つのテーマカラーを⽤いた，ムダな線のないシンプルな棒グラフ
Good
22%
0%
5%
10%
15%
20%
25%
Brand 1 Brand 2 Brand 3 Brand 7 Brand 4 Brand 6 Brand 5
シェア

View Slide

表 Before
線が多く，⾏間が狭い，ごちゃごちゃした表は読みにくい
NG

View Slide

表 After
線は横線のみで，⾏間が広く，シンプルな表
Good

View Slide

悪しきグラフの特徴
デザイン的視点
客観的視点
⼀眼でわからない
悪しきグラフ
• 視覚的に歪む3D・⽴体化
• 0から始まらない軸
• 軸名称の⽋如
• 不揃いな⼩数点の桁数
• カンマのない数字
• 恣意的な項⽬分類
• 図表中の略語の未説明
• ⾒苦しい多すぎる線
• ⾒苦しい太すぎる線
• ⽬に悪い多⾊展開
• パッと結びつかない凡例
• 複雑な⼆軸グラフ
• 細かすぎる項⽬分類
• ⼿抜きのExcel標準出⼒

View Slide

5. まとめ

View Slide

まとめ
• 解決されていない問題とその対策(仮説)は，顧客に聞くものではなく，
⾃ら考えるものであり，その出発点として客観的調査がある
• ⺟集団の定義とサンプリング⽅法の決定，サンプルサイズ設計，調査
⽅法と回答率，質問の順序など，調査では設計が極めて重要である
• バイアスの存在と発⽣原因を把握し，対象者の状況を考慮して最⼤限
バイアスを低減する調査設計を⾏うべき
• 多国間の調査における結果は，単純に⽐較すべきではない

View Slide

END

View Slide

Survey

Survey

Takumi Kato

More Decks by Takumi Kato

Other Decks in Research

Featured

Transcript