オンラインショッピングにおける 満⾜度と検索⾏動の関係分析 セッション番号: 3a-4-3 柳⽥雄輝，加藤誠 (筑波⼤学) 河⽥友⾹，⼭本岳洋，⼤島裕明 (兵庫県⽴⼤学) 藤⽥澄男 (ヤフー株式会社) 2023-03-06 第15回データ⼯学と情報マネジメントに関するフォーラム(DEIM2023)

ECサイトにおいて，商品を購買したユーザを満⾜させることは重要 • 「購買」満⾜度はECサイトの利⽤継続に影響する [1] • 41%のユーザは週1回以上オンラインショッピングをしており， そのユーザを満⾜させることには⼤きな効果が期待される [2] [1] Gustafsson et al. The effects of customer satisfaction, relationship commitment dimensions, and triggers on customer retention. Journal of marketing, 69(4), 2005. [2] PwC. December 2021 global consumer insights pulse survey. https://www.pwc.com/gx/en/industries/consumer- markets/consumer-insights-survey/archive/consumer-insights-survey-december-2021.html, (accessed 2022-11-28). 背景 2

関連研究: 購買満⾜度 3 • 商品に対する関⼼の⾼さと「購買」満⾜度の関係 [3] • 知覚された商品の質と「購買」満⾜度の関係 [4] • ユーザの関⼼や商品の質は「購買」満⾜度に影響するが，それらを 購⼊者のWeb上での情報探索⾏動と結びつけた研究は少ない [3] Richins et al. Post-purchase product satisfaction: Incorporating the effects of involvement and time. Journal of Business Research, 23(2), 1991. [4] Tsiotsou. The role of perceived product quality and overall satisfaction on purchase intentions. International journal of consumer studies, 30(2), 2006. 関⼼の ⾼さ 満⾜度 商品の 質 満⾜度 正の相関 正の相関

• ECサイトにおける検索セッションの意図と検索満⾜度の関係 [5] ‒ 直接購買に関する検索は2つの意図に分類できることも⽰した • 検索意図と「検索結果の」満⾜度は分析されているが， 「購買」満⾜度との関係は分析されていない [5] Su et al. User intent, behaviour, and perceived satisfaction in product search. WSDM 2018. 関連研究: 購買に関する検索⾏動 4 クエリ カメラ おすすめ カメラ 初⼼者⽤ クエリ EOS スペック EOS R5 価格 EOS R5 中古 ECサイトの検索セッション 各セッションへ 意図の割当 意図 意図に沿った 検索結果を表⽰ 検索結果の 満⾜度 満⾜ 例 クエリ カメラ おすすめ カメラ 初⼼者⽤ クエリ EOS スペック EOS R5 価格 EOS R5 中古 検討中 探索中 不満⾜ 購⼊を検討している ことを⽰す意図 商品を探索している ことを⽰す意図 EOS: カメラのブランド

Web上での情報探索⾏動と購買満⾜度の関係を分析 • 本研究の知⾒によってできるようになること ‒ レビューをしていないユーザに対して，Web検索⾏動から購買満⾜度を予測 • 本研究でも取り組む ‒ 購買満⾜度を⾼めるような検索⽀援 研究⽬的 5 ECサイトで商品を購買する前後のWeb検索⾏動とレビュー評価の関係を分析 ⊃ ≡ 定義 部分集合 対象データ 扱う満⾜度 考慮する 検索⾏動 購買満⾜度の既存研究 ユーザ・商品特性 「購買」満⾜度 ❌ 検索⾏動の既存研究 ログ，被験者実験 「検索」満⾜度 “EC”検索 本研究 ログ，ユーザ・商品特性 「購買」満⾜度 “Web”検索 既存研究との⽐較

• RQ1: 購買に満⾜したユーザと不満⾜なユーザの検索⾏動の違いは？ A 満⾜したユーザは，購買前1週間以内に，より幅広く商品に関する検索を する頻度が⾼い • RQ2: 商品やユーザの特性が異なる場合の検索⾏動の違いは？ A 満⾜したユーザは，次の場合，購買前に商品に関する検索をする頻度が⾼い • ⽐較的⾼価な商品を買う場合 • ⽐較的Web検索に慣れている場合 • RQ3: ユーザが検索に⽤いた語と満⾜度の関係は？ A 他⼈の意⾒を求めているユーザは，購買に満⾜する可能性が⾼い RQとその回答 6

• Yahoo! 検索: ⽇常的に(≡毎⽉10⽇以上)利⽤するユーザの検索ログ ‒ 13,882ユーザ，48,758,880クエリ を対象とする • Yahoo! ショッピング: 購買ログ・レビューログ ‒ 5段階評価のうち，レートが3以下のレビューでは不満が⾒られたため 4以上のレートが付いたレビューを満⾜とする ‒ 32カテゴリを家電，アウトドア，オーディオ，美容，ガジェット の 5⼤カテゴリに統合 ‒ 対象購買件数: 15,277件 • 同⼀ユーザのWeb検索⾏動と購買を紐付けて分析 データセット 7

商品の絞り込み度合いを捉えるためクエリに意図を割り当てる 分析の流れ 8 クエリ EOS R5 価格 カメラ おすすめ 運動会 撮影 つくば 天気 クエリログ クエリ 検索意図 EOS R5 価格 検討中 カメラ おすすめ 探索中 運動会 撮影 その他 つくば 天気 その他 クエリ 検索意図 EOS R5 価格 検討中 カメラ おすすめ 探索中 運動会 撮影 探索中 つくば 天気 その他 ルールベースによる 意図の割当 弱教師あり学習による 意図の割当 クエリを分類する = 各意図を時区間ごとに 集計，正規化 時区間 頻度 ログは多量 → 先⾏研究の意図をもとに⾃動で分類 満⾜ 不満⾜

クエリに商品の絞り込み度合いを表す意図を割り当てたい →価格.comより商品辞書を作成，ルールベースでクエリを分類 • 検討中: 購⼊を検討している段階 ‒ 先⾏研究の Target Finding に相当 ‒ クエリ内にカメラのメーカー名， 型番，商品名のいずれかを含む • 探索中: 商品を探索している段階 ‒ 先⾏研究の Decision Making に相当 ‒ 検討中の条件を満たさず， クエリ内に“カメラ”を含む • その他 意図の割り当て (ルールベースによる分類) 9 クエリ EOS R5 価格 カメラ おすすめ 運動会 撮影 つくば 天気 クエリ 検索意図 EOS R5 価格 検討中 カメラ おすすめ 探索中 運動会 撮影 その他 つくば 天気 その他 カメラに関係するが その他と分類 分類 [5] Su et al. User intent, behaviour, and perceived satisfaction in product search. WSDM 2018. 例: カメラカテゴリ 検索意図は先⾏研究 [5] をもとに作成 意図(絞り込み度合い)ごとに検索⾏動の違いを分析

ルールベースでは捉えきれない傾向を弱教師あり学習で捉える • カメラに関係するクエリを捉えたい • その他に分類されたクエリの中からカメラに関係する語を抽出 ‒ 語が商品辞書に含まれていないことから「探索中」と分類 意図の割り当て (弱教師あり学習による分類) 10 クエリ 検索意図 EOS R5 価格 検討中 カメラ おすすめ 探索中 運動会 撮影 その他 つくば 天気 その他 クエリ 検索意図 EOS R5 価格 検討中 カメラ おすすめ 探索中 運動会 撮影 探索中 つくば 天気 その他 分類 カメラに関係するがその他と分類された語 =

疑似正例: 型番，製品名，“カメラ”に 挟まれているクエリ • “カメラ”と共起しにくい語や出現頻度が低い語を除く 弱教師あり学習の設定 11 検索セッション カメラに関係なさそうな セッション つくば 観光 筑波⼭ 歴史 カメラ 初⼼者⽤ レンズ 選び⽅ EOS R5 スペック ルールベースで 得られた意図 探索中 その他 検討中 その他 その他 検索の時系列 カメラに関係 しそう 疑似負例: 「検討中」「探索中」が⼀度も 出現しないセッションのクエリ 1 1 ⋮ 0 ⼊⼒: クエリの Bag of Words 運動会 観光 撮影 ⁝ 予測 正例 • 予測にはロジスティック回帰を使⽤ ‒ サポートベクターマシンなどでも同程度の予測結果 • ⼤カテゴリごとに100クエリを抽出， 予測ラベルが適切か多数決で評価 ‒ 正解率0.91, F1値0.53で分類 出⼒: カメラ関係語 (「探索中」)かどうか カメラの付属品 などを正例と予測

• RQ1: 購買に満⾜したユーザと不満⾜なユーザの検索⾏動の違いは？ A 満⾜したユーザは，購買前1週間以内に，より幅広く商品に関する検索を する頻度が⾼い A RQとその回答 12

「検討中」の意図における頻度の時間分布 RQ1: 購買に満⾜したユーザと不満⾜なユーザの検索⾏動の違いは？ 13 0 0.0001 0.0002 0.0003 0.0004 0.0005 (-4w ,-3w ] (-3w ,-2w ] (-2w ,-1w ] (-1w ,0] [0,+ 1w ) [+ 1w ,+ 2w ) [+ 2w ,+ 3w ) [+ 3w ,+ 4w ) 頻度 時区間 満⾜ 不満⾜ 「探索中」の意図でも似た傾向だった 満⾜したユーザは購買1週間前 の「検討中」の頻度が⾼い 満⾜したユーザはより広く 検索しているのでは？ 推測 総検索回数で 正規化した値 e.g. [0,+1w): 購買直後 から1 week (w)後以内 購買 3/6 3/10 3/13 3/17 購買 時刻 と を揃えてカウント

クエリのエントロピーの⽐較 14 満⾜したユーザが広く検索しているか検証するため， 購買前4週間のクエリに含まれる語のエントロピーを⽐較 満⾜したユーザは「検討中」「探索中」の エントロピーが⾼いことから，広く検索する傾向 0 0.2 0.4 0.6 0.8 1 1.2 検討中 探索中 エントロピーの平均 5.8 6 6.2 6.4 6.6 6.8 7 その他 満⾜ 不満⾜ 検索意図

A • RQ2: 商品やユーザの特性が異なる場合の検索⾏動の違いは？ A 満⾜したユーザは，次の場合，購買前に商品に関する検索をする頻度が⾼い • ⽐較的⾼価な商品を買う場合 • ⽐較的Web検索に慣れている場合 RQとその回答 15 • 商品に関する検索意図 ‒ 「検討中」: より絞り込んだ検索 ‒ 「探索中」: 「検討中」よりも広い検索

RQ2: 商品やユーザの特性が異なる場合の検索⾏動の違いは？ 16 0 0.0002 0.0004 0.0006 0.0008 満⾜ 不満⾜ 0 0.0002 0.0004 0.0006 0.0008 頻度 0 0.0002 0.0004 0.0006 0.0008 0 0.0002 0.0004 0.0006 0.0008 頻度 (-4w , -3w ] (-3w , -2w ] (-2w , -1w ] (-1w , 0] [0, + 1w ) [+ 1w , + 2w ) [+ 2w , + 3w ) [+ 3w , + 4w ) 「検討中」について，商品の価格とユーザの 検索回数に注⽬，それぞれの中央値で⼆分 購買 低価格 低検索回数 ⾼価格 低検索回数 ⾼価格 ⾼検索回数 低価格 ⾼検索回数 購買 購買 購買

RQ2: 商品やユーザの特性が異なる場合の検索⾏動の違いは？ 17 0 0.0002 0.0004 0.0006 0.0008 満⾜ 不満⾜ 「検討中」について，商品の価格とユーザの 検索回数に注⽬，それぞれの中央値で⼆分 検索に慣れたユーザは，購買前に商品について検索することで 購買に対するリスクを減らせている可能性がある 購買 ⾼価格 ⾼検索回数 検索に慣れたユーザが⾼めの商品を買う場合のみ， 満⾜したユーザの購買前の頻度が⾼い

RQ2: 「探索中」における商品やユーザの特性が異なる場合の検索⾏動の違い 18 0 0.0002 0.0004 0.0006 0.0008 0.001 満⾜ 不満⾜ 0 0.0002 0.0004 0.0006 0.0008 0.001 頻度 0 0.0002 0.0004 0.0006 0.0008 0.001 0 0.0002 0.0004 0.0006 0.0008 0.001 頻度 低価格 低検索回数 ⾼価格 低検索回数 ⾼価格 ⾼検索回数 (-4w , -3w ] (-3w , -2w ] (-2w , -1w ] (-1w , 0] [0, + 1w ) [+ 1w , + 2w ) [+ 2w , + 3w ) [+ 3w , + 4w ) 「探索中」について，商品の価格とユーザの 検索回数に注⽬，それぞれの中央値で⼆分 低価格 ⾼検索回数 購買 購買 購買 購買

RQ2: 「探索中」における商品やユーザの特性が異なる場合の検索⾏動の違い 19 0 0.0002 0.0004 0.0006 0.0008 0.001 頻度 「探索中」について，商品の価格とユーザの 検索回数に注⽬，それぞれの中央値で⼆分 低価格 低検索回数 購買 検索に慣れていないユーザが安めの商品を 買う場合のみ，不満⾜なユーザの購買後の 頻度が⾼い 検索に慣れていないユーザは，商品に不満がある 場合，安めの商品であれば，代替品を探すような 検索を⾏っている可能性がある

A A • RQ3: ユーザが検索に⽤いた語と満⾜度の関係は？ A 他⼈の意⾒を求めているユーザは，購買に満⾜する可能性が⾼い RQとその回答 20

• クエリのクラスタリング ‒ 購買前4週間の「検討中」「探索中」 クエリについて，埋め込みの平均で 購買を表現，クラスタリング ‒ 各クラスタを，購買に関する 語群での検索回数で正規化 RQ3: ユーザが検索に⽤いた語と満⾜度の関係は？ 21 (ECサイト名)， 店舗 など キャンペーン， セール など 修理， 保証 など クラスタ(C) おすすめ， ⼈気 など ⼝コミ， 評価 など 2017， 新型 など 年数を 調べる 評判を 調べる 購買に関する語群 おすすめ を調べる ECサイト に⾏く 平均的な クラスタ C1 C2 C3 C4 C5

• 各クラスタの満⾜度を⽐較 RQ3: ユーザが検索に⽤いた語と満⾜度の関係は？ 22 他⼈の意⾒を求めるユーザは 満⾜しやすい可能性がある C3が最も満⾜の割合が⾼く， C2が最も満⾜の割合が低い (ECサイト名)， 店舗 など キャンペーン， セール など 修理， 保証 など クラスタ(C) おすすめ， ⼈気 など ⼝コミ， 評価 など 2017， 新型 など 年数を 調べる 評判を 調べる 購買に関する語群 おすすめ を調べる ECサイト に⾏く 平均的な クラスタ C1 C2 C3 C4 C5 「検討中」での 平均検索回数 「探索中」での 平均検索回数 満⾜したユーザ の割合 平均価格 クラスタ(C) C1 C2 C3 C4 C5

• 検索意図の時間分布による予測 ‒ 各時区間における意図の頻度を正規化し予測 ‒ 特徴の重みを⽰すため， ランダムフォレストと ロジスティック回帰を⽤いた ‒ 正解率: 0.531 ‒ 特性を⽤いた正解率: 0.559 • 特性: 検索回数と価格それぞれの⾼低 検索意図の時間分布による満⾜度予測 23 ロジスティック回帰の重み (*は有意であることを⽰す) 分析で得た知⾒をもとに，検索意図の時間分布やクエリの違いから 満⾜か不満⾜かを説明(予測)できるか検証 予測精度は⾼くないが，購買前1週間以内の頻度などの影響が統計的有意 -0.2 -0.1 0 0.1 0.2 0.3 0.4 (-4w ,-3w ] (-3w ,-2w ] (-2w ,-1w ] (-1w ,0] [0, + 1w ) [+ 1w , + 2w ) [+ 2w , + 3w ) [+ 3w , + 4w ) 価 格 検 索 回 数 重み 各意図における時区間と特性 検討中 探索中 特性 * * * *

• 「検討中」「探索中」クエリに含まれる単語による予測 ‒ 単語の出現回数で作成したBag of Wordsベクトル • 特徴的な重みはみられなかった ‒ 出現した単語の埋め込みの平均 ‒ クエリで追加学習を⾏ったBERT • クエリを時系列順に[SEP]で繋げ予測 単語に注⽬した満⾜度予測 24 0.531 0.559 0.530 0.529 0.559 0.548 0.533 0.5 0.52 0.54 0.56 0.58 正解率 検索意図の時間分布 検索意図の時間分布+特性 Bag of Words 埋め込みの平均 埋め込みの平均+特性 BERT BERT+特性 満⾜度予測の正解率 ① BERTによる予測が⾼精度 • クエリの時系列が予測に有⽤な可能性がある ② 特性が予測に⼤きく寄与 • データの8割以上が満⾜クラスに属するため アンダーサンプリングを⾏った結果， BERT では単語と特性の組合せを⼗分に学習できて いないと考えられる ① ②

• インプリケーション ‒ 満⾜したユーザは購買前に広く商品に関して検索していることがわかった – マーケティングに関する既存研究では，情報の探索量の増加が間接的に 顧客の満⾜につながることがわかっている[6] インプリケーション 25 推測 商品購買前のユーザに対して多様なWeb検索を促すことが必要 [6] Punj and Staelin. A model of consumer information search behavior for new automobiles. Journal of consumer research, 9(4), 1983. カメラ おすすめ EOS R5 評価 Nikon カメラ ⼈気 満⾜した ユーザ例 不満⾜な ユーザ例 EOS R5 セール カメラ セール 購買 検索の時系列 Canon カメラ ⼈気 クエリを推薦 例

Web上での情報探索⾏動と購買満⾜度の関係を分析 • 満⾜したユーザは，購買前1週間以内に，より幅広く商品に関する 検索をする頻度が⾼い • 満⾜したユーザは，次の場合，購買前に商品に関する検索をする 頻度が⾼い ‒ ⽐較的⾼価な商品を買う場合 ‒ ⽐較的Web検索に慣れている場合 • 他⼈の意⾒を求めているユーザは，購買に満⾜する可能性が⾼い まとめ 26 ECサイトで商品を購買する前後のWeb検索⾏動とレビュー評価の関係を分析 ⊃ ≡ 定義 部分集合 主な知⾒

補⾜資料

• レビューは購買後に書かれたものを扱うため，2018年までを 対象期間とした • これらの数値は⺟集団からのサンプルであるため，サービスの 総ユーザ数，総クエリ数を表すものではない データの統計情報 28 検索ログ 購買ログ レビュー サービス Yahoo!検索 Yahoo!ショッピング 期間 2016年〜2017年 2016年〜2018年 ユーザ数 13,882 購買件数 N/A 満⾜: 12,620; 不満⾜: 2,657 クエリ数 48,758,880 N/A 平均クエリ⻑ 1.70 N/A 平均セッション⻑ 3.03 N/A

分析カテゴリ 29 イヤホン ヘッドホン スピーカー キーボード （楽器の⽅） 電⼦ピアノ ヘアアイロン シェーバー ドライヤー アイロン ⼥性⽤シェー バー 扇⾵機 空気清浄機 炊飯器 電⼦レンジ・ オーブンレンジ エアコン 冷蔵庫 洗濯機 掃除機 ⾷器乾燥機 ⾷洗機 マウス デジカメ プリンタ ⼀眼レフ ビデオカメラ webカメラ プロジェクタ 寝袋 テント 電動⾃転⾞ シティサイクル クロスバイク ロードバイク オーディオ 美容 家電 ガジェット アウトドア • 各カテゴリを5つの⼤カテゴリに統合し分析

• 多く検索しているユーザの影響を減らすため，ユーザごとに 各意図の出現回数をカウント 正規化の仕⽅ 30 検索意図 ・・・ 購買1週前 購買1週後 ・・・ 検討中 6 3 探索中 4 2 その他 10 5 あるユーザuの検索回数 の合計が1になるように正規化 検索意図 ・・・ 購買1週前 購買1週後 ・・・ 検討中 6/30 3/30 探索中 4/30 2/30 その他 10/30 5/30 正規化 の合計: 30 各セルの値を全ユーザで平均， 得られた値でグラフ化 𝑢$,& 𝑢∗,∗ 時区間tと意図iで正規化

• 購買経験が複数回かどうか ‒ 価格の⾼低と似た傾向 • 複数回購買しているユーザは多くなく，対象件数に偏りが出るため価格を特性に採⽤ • 商品の購買された回数の中央値(2回) ‒ 違いは⾒られなかった • 購買の4週間以上前における，「検討中」「探索中」の検索回数の 中央値 ‒ 正規化しない場合，満⾜した検索回数の多いユーザが購買直前に多く検索 • ⼀部のユーザに引っ張られている可能性はあるが，普段から商品について検索 しているユーザは満⾜する傾向 • 購買からレビューを付けるまでの⽇数の中央値(7⽇と9時間半) ‒ 不満⾜なユーザはレビューを付けるまでの⽇数が⽐較的短い場合，購買直後 の商品に関する検索が多い ⼆分した他の特性 31

クラスタ3: おすすめを 調べる クラスタ4: 評判を 調べる クラスタ2: ECサイト に⾏く C ( 0 ( 9 ( : 8 ( . ( 26 0 ( 5 471 7 ( ,3 : ( E ( ( ) ( • クエリのクラスタリング ‒ 購買前4週間の「検討中」「探索中」 クエリについて，埋め込みの平均で 購買を表現，クラスタリング ‒ 各クラスタについて，購買に関する 語群での検索回数を正規化 • 各クラスタの満⾜度を⽐較 ‒ クラスタ3が最も満⾜の割合が⾼い ‒ クラスタ2が最も不満⾜の割合が⾼い 各クラスタの購買した語群 32 推測 他⼈の意⾒を求めるユーザは 満⾜しやすい可能性がある

S T .- 306 .- .- .- 304 .- 8 06 .- 5) 1: 7) .- E29 .- .- .- ,, C .- S • クラスタリングではなく， 満⾜/不満⾜で分けた場合 満⾜したユーザと不満⾜なユーザが検索に⽤いた語の違い 33 満⾜したユーザは おすすめについてよく検索 不満⾜なユーザは 価格についてよく検索

本研究の限界 34 • 本研究の限界 ‒ Web検索クエリと購買満⾜度の関係を⽰せたが，ユーザが実際に獲得した 情報との関係までは⽰せていない • 今後の課題とする