一休.com を支えるデータ分析基盤

by yusuke sasajima

Slide 1

Slide 1 text

ҰٳDPNΛࢧ͑Δ σʔλ෼ੳج൫ ࡫ౡ༞հ

Slide 2

Slide 2 text

σʔλ෼ੳج൫؀ڥͷ࠶ߏங

Slide 3

Slide 3 text

࠶ߏஙલͷσʔλ෼ੳج൫ʢࣾ಺ͷωοτϫʔΫʹߏஙʣ 基幹DB セッションログ (行動ログ) GA + BigQuery 統合データ (DWH) データ分析様々なデータソース統合されたデータ (社内NW) 抽出 CRM施策 (オフライン) データサイエンティスト、マーケ、エンジニアメール配信 (ごぶさたクーポン) ETL メール配信（Price down通知）

Slide 4

Slide 4 text

Ҡߦͷഎܠ •  ຊ൪؀ڥͱࣾ಺ͷ෼ੳ؀ڥͷωοτϫʔΫ෼அ͞Ε͍ͯΔ –  ݱߦͷ෼ੳ؀ڥʢ42-4FSWFSʣ͸ࣾ಺؀ڥʹߏங͞Ε͍ͯΔ –  ෼அ͞Ε͍ͯΔ͜ͱʹΑΔ͞·͟·ͳ੍໿͕ൃੜ͍ͯͨ͠ •  ຊ൪؀ڥͷ%#͸͞·͟·ͳ౎߹ʹΑΓҰ೔Ұճ͔͠&5-Ͱ͖ͳ͍ •  σΟεΫ༰ྔෆ଍ –  ރׇ͢ΔՄೳੑ͕ৗʹ͋Δ •  ͜ͷαʔόʹෆ۩߹͕ى͖Δͱ೔ʑͷϚʔέςΟϯάࢪࡦ͕ࢭ·ͬͯ͠·͏ͱ͍ ͏ڪා h"p://localhost:3000/api/campaign/

Slide 5

Slide 5 text

σʔλ෼ੳج൫͸Ϋϥ΢υ؀ڥ΁ 基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析様々なデータソース統合されたデータ抽出 CRM施策 (オフライン) データサイエンティスト、マーケ、エンジニア ETL クラウド環境に移⾏ログ基盤を内製メール配信 (ごぶさたクーポン) メール配信（Price down通知）

Slide 6

Slide 6 text

3FETIJGU্ʹߏங࣮͠ࡍʹࢼͯ͠΋Βͬͨͱ͜Ζʜ 基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析様々なデータソース統合されたデータ (クラウド) 抽出 CRM施策 (オフライン) データサイエンティスト、マーケ、エンジニア ETL ・今の環境からの移行が大変そう・移行するだけなら効果が出ない・慣れた道具をわざわざ変えるのは… メール配信 (ごぶさたクーポン) メール配信（Price down通知）

Slide 7

Slide 7 text

%BUB8BSFIPVTFͱͯ͠ར༻͢ΔαʔϏεͷํ޲స׵ Redshift → Azure SQL Data Warehouse •  ར༻͢Δ΂͖αʔϏεΛ࠶౓બఆ –  ෼ੳ؀ڥ͔ΒͷҠߦίετ͕ߴ͍ •  3FETIJGU͸1PTUHSF42-͕ϕʔε •  "[VSF42-%BUB8BSFIPVTF͸42-4FSWFS͕ϕʔε –  3FETIJGUʹҠߦ͢Δ৔߹ɺݱߦͷ42-4FSWFSϕʔεͰͷσʔλ෼ੳ༻εΫϦϓτͷ΄ͱΜͲ શͯΛॻ͖௚͢ඞཁ͕͋Δʢ"[VSF42-%BUB8BSFIPVTFͰ΋Ұ෦ॻ͖௚͢ඞཁ͸͋Δʣ –  ͔͠͠ɺطଘࢿ࢈ͷ΄ͱΜͲ͢΂͕ͯྲྀ༻Մೳ •  Ҡߦίετ΋ؑΈͨ൑அ͕ඞཁͩͬͨ –  Ұٳͷຊ൪؀ڥ͸શ໘తʹ"84΁ͷҠߦΛਐΊ͓ͯΓɺͦͷจ຺͔Β ΋3FETIJGUʹҠߦ͢΂͖ͱ൑அͯ͠͠·ͬͨ

Slide 8

Slide 8 text

৽σʔλ෼ੳج൫͸"[VSF42-%BUB8BSFIPVTFΛத৺ͱͨ͠ ΋ͷʹ 基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析様々なデータソース統合されたデータ (クラウド) 抽出 CRM施策 (オフライン) データサイエンティスト、マーケ、エンジニア ETL メール配信 (ごぶさたクーポン) メール配信（Price down通知）

Slide 9

Slide 9 text

ҰٳDPNͷϩάج൫ɺσʔλ෼ੳج൫

Slide 10

Slide 10 text

ϩάج൫

Slide 11

Slide 11 text

ϩάج൫ʹΑͬͯηογϣϯϩάʢߦಈϩάʣΛ஝ੵ 基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析様々なデータソース統合されたデータ (クラウド) 抽出 CRM施策 (オフライン) データサイエンティスト、マーケ、エンジニア ETL メール配信 (ごぶさたクーポン) メール配信（Price down通知）

Slide 12

Slide 12 text

ϩάج൫ͷશମ૾

Slide 13

Slide 13 text

ϩάૹ৴ઌͱͳΔ"1*ͷΞʔΩςΫνϟ AjaxでH"pRequest

Slide 14

Slide 14 text

ੑೳΛݕূͨ݁͠Ռ(PͰ࣮૷ΛਐΊ·ͨ͠ 当初は API Gateway + Lambda の想定

Slide 15

Slide 15 text

୆ߏ੒ UTNBMM ʹͯ҆ఆՔಇத

Slide 16

Slide 16 text

ϩάू໿ΞʔΩςΫνϟ Kinesis Stream を利⽤

Slide 17

Slide 17 text

,JOFTJTͱ-BNCEBͷ૬ੑ͸ൈ܈ •  ૬ੑ͕ྑ͍ཧ༝ –  σʔλར༻ઌ͕૿͑ͨ৔߹͸-BNCEBଆͰΠϕϯτΛొ࿥͢Δ͚ͩ –  Τϥʔ͕ൃੜͨ͠৔߹ʹ͸σʔλͷ༗ޮظݶ·ͰϦτϥΠ͢Δ

Slide 18

Slide 18 text

σʔλ෼ੳج൫

Slide 19

Slide 19 text

σʔλ෼ੳج൫ͷશମ૾

Slide 20

Slide 20 text

౰ॳͷϓϥϯ

Slide 21

Slide 21 text

"[VSFͷ؀ڥʹΑΔ੍໿͕ݪҼ •  "[VSF42-%BUB8BSFIPVTFͰ͸ඞཁͳσʔλՃ޻ॲཧ͕୯ମͰ ͸࣮ࢪͰ͖ͳ͍ –  +40/Λύʔε͢Δॲཧ͕ॻ͚ͳ͍ɺਖ਼نදݱΛར༻ͨ͠ॲཧ͕ॻ͚ͳ ͍ •  ͭ·Γɺੜσʔλͦͷ··Ͱ͸ར༻ෆՄ –  "[VSF42-%BUB8BSFIPVTFʹσʔλΛ౤ೖ͢ΔલʹՃ޻͢Δॲཧ͕ ඞཁʹͳΔ •  େྔϑΝΠϧͷσʔλϩʔυੑೳ –  ͞·͟·ͳߏ੒Λࢼͨ݁͠Ռɺݱঢ়ͷߏ੒͕࠷ద •  $MPVE4UPSBHF্ͷࡉ෼Խ͞Εͨϩά৘ใΛ#JH2VFSZʹҰ୴ू໿͢Δ –  $MPVE4UPSBHF͔Β"[VSF42-%BUB8BSFIPVTF·Ͱ෼

Slide 22

Slide 22 text

#JH2VFSZ͸ϩάΛՃ޻ͱू໿͢Δ໾ׂΛ࣋ͭ

Slide 23

Slide 23 text

σʔλ෼ੳج൫ͷ׆༻ࣄྫ

Slide 24

Slide 24 text

۩ମతͳ׆༻ࣄྫ •  ,1*ूܭ –  ࣄۀͷ,1*ͱͳ͍ͬͯΔࢦඪͷࢉग़ •  ๚໰਺ɺ$73 •  ৽نձһొ࿥਺΍Ϧϐʔτ཰ɺϦϐʔλʔຖͷച্ •  νϟωϧຖͷച্ •  $3.ࢪࡦ –  ϝʔϧΛར༻ͨ͠UPϚʔέςΟϯά

Slide 25

Slide 25 text

,1*ूܭ

Slide 26

Slide 26 text

ϝʔϧΛར༻ͨ͠UPϚʔέςΟϯάʢ͝Ϳͨ͞Ϋʔϙϯʣ

Slide 27

Slide 27 text

ϝʔϧΛར༻ͨ͠UPϚʔέςΟϯάʢ1SJDFEPXO௨஌ʣ

Slide 28

Slide 28 text

σʔλ෼ੳج൫ɾϩάج൫ͷࠓޙͷ׆༻

Slide 29

Slide 29 text

ηογϣϯϕʔεͰͷސ٬ͱͷίϛϡχέʔγϣϯྫ 前回のセッションの行動から予約の再検討を提案

Slide 30

Slide 30 text

ϩάج൫Λ಺੡Խͨ͠ཧ༝ •  ϢʔβʔͷߦಈϩάΛՄೳͳݶΓૣ͘ऩू͢Δҝ –  ηογϣϯى఺ͰͷϢʔβʔߦಈΛิ଍ͯ͠ϦΞϧλΠϜͳࢪࡦΛଧ ͍ͪͨ –  Google Analytics + BigQueryの構成では解決できない問題があった •  σʔλ஝ੵͷλΠϜϥάʢ࠷୹Ͱ΋࣌ؒޙʣ •  ͦ΋ͦ΋ΞϓϦέʔγϣϯαʔό͔Β͸஝ੵ͞Εͨσʔλ͕ӾཡͰ͖ͳ͍ 自分たちでコントロールできる Google Analy>cs + BigQueryのようなものが必要

Slide 31

Slide 31 text

ϦΞϧλΠϜߦಈϩάͷऩू

Slide 32

Slide 32 text

ΧελϚʔδϟʔχʔ૬౰ͷσʔλ͕ϦΞϧλΠϜʹར༻Մೳ Ϣʔβʔͷηογϣϯ୯ҐͰͷߦಈϩά͕ϦΞϧλΠϜʹ஝ੵɾߋ৽͞ΕΔ 初回と最終の訪問日時と訪問URLを保持ユーザーが対象の画面を通ったかどうかをフラグで管理サイトに滞在した時間

Slide 33

Slide 33 text

·ͱΊ •  Ұٳʹ͓͚Δσʔλ෼ੳج൫ͷ࠶ߏஙʹ͓͚Δϩάج൫ɺσʔλ෼ ੳج൫ʹؔͯ͠࿩͍͖ͤͯͨͩ͞·ͨ͠ •  ࠶ߏங࣌͸ݱߦۀ຿΍σʔλྔ౳ɺσʔλ෼ੳج൫ʹؔΘΔཁૉΛ ͖ͪΜͱ෼ੳͯ͠ਐΊΔ΂͖ͩͱ࠶ೝࣝ͠·ͨ͠ •  ࠓޙ͸ϚʔέςΟϯάࢪࡦͷى఺Λશͯ৽͍͠σʔλ෼ੳج൫ ʢ"[VSF42-%BUB8BSFIPVTFʣʹҠߦ͍͖ͯ͠·͢