Upgrade to Pro — share decks privately, control downloads, hide ads and more …

メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #Goog...

メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526

Google Cloud Day: Digital ’21 の発表資料です。
https://cloudonair.withgoogle.com/events/platinum_primenumber?talk=sessionvideo

----------------------------------------------------------------------------------------------------

データドリブンに事業を推進するメルカリグループのデータ分析基盤を紹介します。
BigQuery とマネージド ETL & ワークフローサービス trocco® の活用で、Google Cloud 領域外の新規データ連携毎に発生するフルスクラッチ開発から脱却し、希少なデータエンジニア工数を創出。決済データと紐づけた営業活動分析にも成功しています。
分析基盤構成、検討プロセスを、ビジネスと技術の視点から担当者様よりお話し頂きます。

取り上げる主な Google Cloud 製品 / サービス
・BigQuery
・Looker

----------------------------------------------------------------------------------------------------

【補足1】
共同発表者のスライドURLです。内容は同じです。
https://speakerdeck.com/pn/20210526

【補足2】
登壇時のスライドから一部変更しています。
・利用規約に従い、イベントロゴをカットしました。
・Google slides と SpeakerDeck の相性が悪いためフォントを調整しました。
・共同発表であることが分かるように、表紙スライドを追加しました。

【補足3】
・本資料内で紹介している成果は、発表者個人によるものではなく、多くの関係者の貢献によるものです。
・専門のスタッフに資料作成を代行していただきました。

yuzutas0

May 26, 2021
Tweet

More Decks by yuzutas0

Other Decks in Technology

Transcript

  1. ᰴᘧ఍♫䝯䝹䜹䝸 タ❧ ஦ᴗෆᐜ ௦⾲⪅ ᡤᅾᆅ ᣐⅬ ʾʼʽʿᖺʾ᭶ʽ᪥ 䝇䝬䞊䝖䝣䜷䞁ྥ䛡䝣䝸䝬䜰䝥䝸 䛂䝯䝹䜹䝸䛃䛾௻⏬䞉㛤Ⓨ䞉㐠Ⴀ ᒣ⏣㐍ኴ㑻

    䛈ʽʼ˂ͦ˂ʽʽ˄ ᮾி㒔 ༊භᮏᮌ˂ͦʽʼͦʽ භᮏᮌ䝠䝹䝈᳃䝍䝽䞊 ᮾி䚸௝ྎ䚸⚟ᒸ 䝯䝹䜹䝸䜾䝹䞊䝥䛿䚸ᰴᘧ఍♫䝯䝹䜹䝸䛸䚸䛭䛾㐃⤖Ꮚ఍♫䛷ᵓᡂ䛥䜜䛶䛔䜎䛩䚹 タ❧ ஦ᴗෆᐜ ௦⾲⪅ ᡤᅾᆅ ʾʼʽ˃ᖺʽʽ᭶ʾʼ᪥ 㔠⼥㛵㐃䛾᪂つ஦ᴗ 㟷ᰗ┤ᶞ 䛈ʽʼ˂ͦ˂ʽˀʿᮾி㒔 ༊භᮏᮌ ˂ͦʽʼͦʽ භᮏᮌ䝠䝹䝈᳃䝍䝽䞊 タ❧ ஦ᴗෆᐜ ௦⾲⪅ ᡤᅾᆅ ʾʼʽˀᖺʽ᭶ Œ∧䝯䝹䜹䝸䛾௻⏬䞉㛤Ⓨ䞉㐠Ⴀ PIJđĬTÔČøŎĦĔĬČ ʽ̵zÔĦIJĦřIJ̶ÔĦĔċIJŎĬĔÔ ʾ̵zIJLjĦÔĬô̶aŎøČIJĬ ʿ̵IJŒřIJĬ͚ÔīíŎĔôČø̶͛ZÔŒŒÔîđŞŒøNJŒ ᰴᘧ఍♫䝯䝹䝨䜲 ZøŎîÔŎĔ̶DĬî̵ 䠄Œ䠅 タ❧ ஦ᴗෆᐜ ௦⾲⪅ ᡤᅾᆅ ʽ˅˅ʽᖺʽʼ᭶ʽ᪥ 䝣䝑䝖䝪䞊䝹䜽䝷䝤㐠Ⴀ ᑠἨᩥ᫂ Ⲉᇛ┴❧䜹䝅䝬䝃䝑䜹䞊䝇䝍䝆䜰䝮ᣦᐃ⟶⌮ Ⲉᇛ┴㮵ᔱᕷ⢖⏕ᮾᒣ ʾ˄˄˃␒ᆅ ᰴᘧ఍♫ 㮵ᓥ䜰䞁䝖䝷䞊䝈䞉䜶䝣䞉 䝅䞊 タ❧ ஦ᴗෆᐜ ௦⾲⪅ ᡤᅾᆅ ʾʼʾʽᖺʽ᭶ʾ˄᪥ 䜲䞁䝍䞊䝛䝑䝖䝃䞊䝡䝇䛾௻⏬䞉㛤Ⓨ䞉㐠Ⴀ ▼ᕝభᶞ 䛈ʽʼ˂ͦ˂ʽˀʿᮾி㒔 ༊භᮏᮌ ˂ͦʽʼͦʽ භᮏᮌ䝠䝹䝈᳃䝍䝽䞊 ᰴᘧ఍♫䝋䜴䝌䜴 ఍♫ᴫせ
  2. Ͽ䝃䞊䝡䝇㛤ጞ᪥䠖ʾʼʽʿᖺ˃᭶ Ͽᑐᛂa䠖ĬôŎIJĔô䚸Ĕa 䈜 øí䝤䝷䜴䝄䛛䜙䜒฼⏝ྍ⬟ Ͽ฼⏝ᩱ䠖↓ᩱ 䈜኎䜜䛯䛸䛝䛾ᡭᩘᩱ䠖㈍኎౯᱁䛾 ʽʼϢ Ͽᑐᛂᆅᇦ䞉ゝㄒ䠖᪥ᮏ䞉᪥ᮏㄒᇶᮏ௙ᵝ Ͽ⣼ィฟရᩘ䠖ʾʼ൨ရ䜢✺◚͚ʾʼʾʼᖺʽʾ᭶͛ 䛭䜜䜢ᚲせ䛸䛩䜛ே䛾ᡭ䛻Ώ䜚䚸౑⏝䛥䜜䜛䛣䛸䛻႐䜃䜢ឤ䛨䚸䜎

    䛯㉎ධ⪅䛿䚸ከᙬ䛛䛴䝴䝙䞊䜽䛺ၟရ䛾୰䛛䜙䛂ᐆ᥈䛧䛃ឤぬ䛷 ᥀䜚ฟ䛧≀䜢ぢ䛴䛡䜛㈙䛔≀య㦂䜢ᴦ䛧䜣䛷䛔䜎䛩䚹䛥䜙䛻䛂䝯䝹 䜹䝸䛃䛷䛿䚸≀䛾኎㈙䛰䛡䛷䛿䛺䛟䚸ฟရ⪅䞉㉎ධ⪅㛫䛾䝏䝱䝑䝖䜔 䛂䛔䛔䛽䟿䛃ᶵ⬟䜢㏻䛨䛶䚸䛚ᐈ䛥䜎㛫䛾䝁䝭䝳䝙䜿䞊䝅䝵䞁䜒άⓎ 䛻⾜䜟䜜䛶䛔䜎䛩䚹 䝣䝸䝬䜰䝥䝸䛂䝯䝹䜹䝸䛃䛿䚸ಶே䛜⡆༢䛻୰ྂရ䛾኎㈙䜢⾜䛘䜛  řIJ䝬䞊䜿䝑䝖䝥䝺䜲䝇䛷䛩䚹ฟရ⪅䞉㉎ධ⪅཮᪉䛜䚸Ᏻ඲䞉Ᏻᚰ 䛺ྲྀᘬ䜢ᴦ䛧䜣䛷䛔䛯䛰䛡䜛䝃䞊䝡䝇䜢┠ᣦ䛧䚸䛂䝯䝹䜹䝸䛃䛜୍᫬ ⓗ䛻㉎ධ௦㔠䜢㡸䛛䜛䜶䝇䜽䝻䞊Ỵ῭䜢ά⏝䛧䛯ྲྀᘬ⎔ቃ䛾ᩚ ഛ䜔䚸⡆༢䛛䛴ᡭ㡭䛺౯᱁䛾㓄㏦䜸䝥䝅䝵䞁䚸ᕪู໬䛥䜜䛯䝴 䝙䞊䜽䛺䛚ᐈ䛥䜎య㦂䜢ᥦ౪䛧䛶䛔䜎䛩䚹ከ䛟䛾ฟရ⪅䛿䚸⮬ศ䛻 䛸䛳䛶ᚲせ䛷䛺䛟䛺䛳䛯䝰䝜䛜䚸 䝯䝹䜹䝸䛸䛿
  3. 䝡䝆䝛䝇ㄢ㢟 䛒䛒䛒 ⋓ᚓ 䝉䞊䝹䝇䝇䝍䝑䝣䛜౑䛖㢳ᐈ⟶⌮䝒䞊䝹 䠄䝥䝻䝎䜽䝖䛾๓䛾ୡ⏺䜢ᢅ䛖䝕䞊䝍䠅 䚷䚷䝋䝣䝖䜴䜵䜰䜶䞁䝆䝙䜰䛜ぢ䜛䝕䞊䝍䝧䞊䝇 䠄䝥䝻䝎䜽䝖䛾୰䛾ୡ⏺䜢ᢅ䛖䝕䞊䝍䠅 䝕䞊䝍ඖ䛜㐪䛖䛛䜙ᶓ᩿ศᯒ䛷䛝䛺䛛䛳䛯 䛣䛣䜢 ⧅䛞䛯䛔

    Ⴀᴗ䜲䞁䝉䞁䝔䜱䝤タィ䛻ᨵၿవᆅ ┠ⓗ䠖Ⓩ㘓ᚋ䛾฼⏝䜢ಁ㐍䛧䛯䛔 ศᯒ䠖Ⴀᴗάື䛸Ỵ῭ᐇ⦼䜢⣣௜䛡䛶 䚷䚷䚷ィ 䞉ホ౯䛧䛯䛔 ཰㞟䠖䝃䜲䝻໬䛧䛯䝕䞊䝍䛾⤫ྜ䛜ᚲせ 㞀ቨ䠖䝕䞊䝍䜶䞁䝆䝙䜰䛾ᕤᩘ୙㊊
  4. ㄢ㢟ゎỴ䛻ྥ䛡䛯᳨ウ䝥䝻䝉䝇 䝅䝇䝔䝮ᵓᡂ䛾᳨ウ ʽ ෆ〇IJŎእ㒊ά⏝䛛 ʾ 䛹䛾እ㒊䝃䞊䝡䝇䜢౑䛖䛛 ʿ ุ᩿㍈ ᮇᚅ䛩䜛せ௳ |ŞÔĦĔřŸ

    ෆ〇䛸ྠ➼䛾ရ㉁䛛 IJŒř ෆ〇䛾ே௳㈝䜘䜚Ᏻ౯䛛 %øĦĔűøŎŸ Ⴀᴗ㒊㛛䛜ᢅ䛘䜛䛛 îIJŋø ከᵝ䛺Ôԁ䝕䞊䝍䛻ᑐᛂྍ⬟䛛 řŎIJîîIJБŷĔČ|ŞøŎŸ䛾䝕䞊䝍ศᯒᇶ┙ᑟධ䜈
  5. ᮏ᱌௳䛻䛚䛡䜛řŎIJîîIJБ㑅ᐃ⌮⏤͇ʾ <IJIJČĦøĦIJŞô䛾)‡T 䝋䝸䝳䞊䝅䝵䞁 ௚䛾)‡T 䝋䝸䝳䞊䝅䝵䞁 䚷Ⴀᴗ㒊㛛䛜 䚷㌿㏦タᐃ䜢㏣ຍ䛷䛝䜛䛛 Ѐ ό 䞉䜹䝇䝍䝬䜲䝈㛤Ⓨ䛜ᚲせ

    䞉௙ᵝ䛾ᢕᥱ䛻䝸䝔䝷䝅䞊䛜ᚲせ όࠥЀ 䚷♫ෆ⛺㆟䜢 䚷㏻䛧䜔䛩䛔䝃䝫䞊䝖యไ䛛 Ѐ ЅࠥЀ όࠥЀ 䞉᪥ᮏㄒ䛾䝗䜻䝳䝯䞁䝖䛜䛺䛔 䞉䝉䜻䝳䝸䝔䜱䝏䜵䝑䜽䛾ᑐᛂ䛜 䚷඘ᐇ䛧䛶䛔䛺䛔 䝃䜲䝻໬䛾ቨ䜢㉸䛘䛶 Ⴀᴗ㒊㛛䛜⮬䜙䝕䞊䝍ά⏝䛷䛝䜛䝋䝸䝳䞊䝅䝵䞁
  6. ㄢ㢟ゎỴ䜢ᐇ⌧䛧䛯ศᯒ⎔ቃ 䜶䞁䝆䝙䜰䛜 ෆ〇䛷㛤Ⓨ 䠄኱つᶍ䝕䞊䝍䠅 䝕䞊䝍฼⏝⪅ ⮬㌟䛜タᐃ )ŷřøŎĬÔĦÔԁ Ôԁ%ÔřÔ zĔŋøĦĔĬø %ÔřÔŲÔŎøđIJŞŒøЍD

    Ôřîđ%ÔřÔzĔŋøĦĔĬø řŎøÔī%ÔřÔzĔŋøĦĔĬø ZĔîIJŎŒøŎűĔîøŒ ĔČ|ŞøŎŸ %ÔřÔDŽIJŲ zŞí͊Şí RŞíøŎĬøřøŒ )ĬČĔĬø %ÔřÔDŽIJŲ ĦIJŞô |T ĦIJŞô ŋÔĬĬøŎ øŎűĔîø ĔDŽIJŲ øŎűĔîø øŎűĔîø <IJIJČĦøĦIJŞô㡿ᇦእ䛾䝕䞊䝍㐃ᦠ䛿ᚑ᮶䝇䜽䝷䝑䝏㛤Ⓨ䛷ᑐᛂ䛧䛶䛔䛯䛜䚸řŎIJîîIJБ䛻䜘䛳䛶䝕䞊䝍䜶䞁䝆䝙䜰䛾✌ാ䜢๭䛛䛪䛻䝕䞊䝍㐃ᦠ䛜ྍ⬟䛻䛺䛳䛯 ÔĦøŒċIJŎîø RĔĬřIJĬø 䜶䞁䝆䝙䜰䛜 ෆ〇䛷㛤Ⓨ 䠄኱つᶍ䝕䞊䝍䠅
  7. ศᯒᇶ┙䛾ຠᯝ͇ʽ 䝡䝆䝛䝇㠃 ㄢ㢟 ᐇ⌧䛧䛯ෆᐜ ᩘ್ⓗ䛺ຠᯝ Ⓩ㘓ᚋ䛾฼⏝䜢ಁ㐍䛧䛯䛔 ᪂RzD䛻㐃ື䛧䛶฼⏝ಁ㐍᪋ ⟇䜢ḟ䚻䛸ᐇ᪋ ๓ᚋẚ㍑䛷 ʿʼϢ

    䛾ႠᴗŸ}ྥୖ ௬䛻ʽே᭶ʽʼʼ୓෇䚸 䝇䝍䝑䝣ʽʼʼྡ䛷䛒䜜䜀 ே௳㈝᥮⟬ʿ̶ʼʼʼ୓෇͊᭶ 䛾ேဨ㏣ຍ䛻┦ᙜ Ⴀᴗάື䛸Ỵ῭ᐇ⦼䜢⣣௜䛡䛶ィ 䞉ホ౯䛧 䛯䛔 ႠᴗRzD䞉䜲䞁䝉䞁䝔䜱䝤タィ 䜢䜰䝑䝥䝕䞊䝖 䝃䜲䝻໬䛧䛯䝕䞊䝍䛾⤫ྜ䛜ᚲせ ᮇᚅ௨ୖ䛾|%䛷 ⤫ྜ䛻ᡂຌ 䝕䞊䝍䜶䞁䝆䝙䜰䛾ᕤᩘ୙㊊ ᢏ⾡㠃䜢ཧ↷
  8. ᢏ⾡㠃 ㄢ㢟 ᐇ⌧䛧䛯ෆᐜ ᩘ್ⓗ䛺ຠᯝ ᥇⏝䠖ᑓ㛛ᛶ䛜㧗䛟䚸ẕ㞟ᅋ䛜ᑡ䛺䛔 ㏣ຍேဨ䝊䝻䛷㐩ᡂ 䜶䞁䝆䝙䜰ᕤᩘ ʿே᭶ 䛾๰ฟ䛻ᡂຌ 㛤Ⓨ䠖īĔîŎIJŒøŎűĔîøŒ䜔Ôԁ䛤䛸䛻ᐇ⿦

    ᪂つ㐃ᦠ᫬䞉䝕䞊䝍㏣ຍ᫬䛻 Ⴀᴗ௻⏬ᢸᙜ䛜⏬㠃᧯స䛩 䜛䛰䛡 ಖᏲ䠖㐃ᦠ䝅䝇䝔䝮䛾௙ᵝኚ᭦䛻㏣ᚑ ♫ෆᕤᩘ䝊䝻䚸䝖䝷䝤䝹Ⓨ⏕ ᫬䛿ŋŎĔīø[ŞīíøŎ䛻┦ㄯ 㐠⏝䠖኱つᶍ䝕䞊䝍㌿㏦䛾䝏䝳䞊䝙䞁䜾䜔㞀 ᐖᑐᛂ ྠୖ ศᯒᇶ┙䛾ຠᯝ͇ʾ
  9. 䛂䝕䞊䝍䜢䛴䛺䛠䛃䝸䞊䝗䝍䜲䝮䛾ኚ໬ øċIJŎø DžøŎ Ⴀᴗ௻⏬ 䝕䞊䝍 䝬䝛䝆䝯䞁䝖 䝕䞊䝍 䜶䞁䝆䝙䜰 ㄪᰝ ᐇ⿦

    䝔䝇䝖 䝸䝸䞊䝇 ┦ㄯ ౫㢗 Ⴀᴗ௻⏬ ʽ䞄᭶ ☜ㄆ ʽ㐌㛫 䝸䞊䝗䝍䜲䝮ʿ͊ˀ䜢▷⦰̺̺ 䝕䞊䝍ά⏝⪅⮬㌟䛷 䝕䞊䝍䜢⧅䛠䛣䛸䛜ྍ⬟䛻䚹 Ⴀᴗ௻⏬ řŎIJîîIJБ䛷 タᐃ ☜ㄆ 䈜」ᩘ䛾㒊㛛䛷㐃ᦠ䛜ᚲせ
  10. )‡T % A D 䝕䞊䝍䝋䞊䝇 䝴䞊䝇䜿䞊䝇 ÔĦøŒċIJŎîø䠖ຍ┕ᗑႠᴗ RĔĬřIJĬø䠖ຍ┕ᗑ⟶⌮ ®øĬôøŒģ䠖䝃䝫䞊䝖 䠄ศᯒタィ୰䠅

    PD}䠖䝏䜿䝑䝖⟶⌮ IJŎģôÔŸ䠖ே஦䝬䝇䝍 Ⴀᴗάື䛾䝣䜯䝛䝹ྍど໬ 䜶䞁䝆䝙䜰⤌⧊䛾✌ാྍど໬ |䝏䞊䝮䛻䜘䜛䝞䜾ศᯒ ♫ෆ䝒䞊䝹䛾䜰䜹䜴䞁䝖᭦᪂䚸 䜾䝹䞊䝥⣣௜䛡䜢⮬ື໬ ͚タィ୰͛ 䜸䝨䝺䞊䝅䝵䞁䝇䝍䝑䝣䛾 㐠⏝ᴗົ䜢䜽䜲䝑䜽䛻❧䛱ୖ䛢 䠃ᡂᯝ䜢䝖䝷䝑䜻䞁䜾 ĔČ|ŞøŎŸ  ᮏศᯒᇶ┙䛾௒ᚋ䛸řŎIJîîIJБ䛜ᨭ᥼䛷䛝䜛䛣䛸
  11. řŎIJîîIJБ䛜஦ᴗ䛻ᐤ୚䛷䛝䜛䛣䛸 Ⴀᴗ⟶⌮ Ɣ Ⴀᴗάືホ౯䛾䛯䜑䛾」ᩘ䝒䞊䝹䝕䞊䝍⤫ྜ Ɣ Zό;䛾㐃ᦠ ᴗົຠ⋡໬඲⯡ Ɣ ⮬♫ᥦ౪䝃䞊䝡䝇䛾୍㒊ᴗົ⮬ື໬ Ɣ

    䜶䞁䝆䝙䜰䝸䝋䞊䝇䛾᭱㐺㓄⨨ Ɣ 䝕䞊䝍ศᯒ⎔ቃ䛾㐠⏝ᶆ‽໬䞉Ᏻᐃ໬ 䝬䞊䜿䝔䜱䞁䜾㡿ᇦ Ɣ 䝏䝱䝛䝹䛾㈉⊩ᗘホ౯͚T‡Ÿ䚸}a➼͛ Ɣ 䝬䞊䜿䝔䜱䞁䜾ศᯒ᫬㛫䛾๰ฟ Ɣ 䝬䞊䜿䝔䜱䞁䜾䝕䞊䝍䛾⤫ྜ ஦ᴗศᯒ䞉䜾䝻䞊䝇 Ɣ ŒD͊Œ¥ᨵၿ䛻䛴䛺䛜䜛䝴䞊䝄฼⏝ศᯒ Ɣ ஦ᴗ䝖䝺䞁䝗䜢ᢕᥱ䛩䜛䝇䝘䝑䝥䝅䝵䝑䝖ศᯒ
  12. 䜸䝥䝅䝵䞁ᶵ⬟ 䠄ʾʼʾʽᖺˁ᭶᫬Ⅼ䠅᭱᪂᝟ሗ䛿 〇ရ䝨䞊䝆䜢䛤☜ㄆ䛟䛰䛥䛔䚹 đNJŋŒ̷͊͊řŎIJîîIJ̵ĔIJ͊Ħŋ͊ŋĦÔĬ̵đřīĦ øí⾜ື䝻䜾཰㞟%R ከゝㄒ䝥䝻䜾䝷䝭䞁䜾)‡T <Ĕřタᐃኚ᭦⟶⌮ 䜶䞊䝆䜵䞁䝖ᶵ⬟ zDᶵ⬟ TĔČđř䝥䝷䞁

    řÔĬôÔŎô䝥䝷䞁 )ĬřøŎŋŎĔŒø䝥䝷䞁 䝕䞊䝍↓ᩱ㌿㏦ᯟ 䝕䞊䝍↓ᩱ㌿㏦ᯟ 䝕䞊䝍↓ᩱ㌿㏦ᯟ ᚲせ䛺䝕䞊䝍㌿㏦ඛ͊ඖ䛸䝕䞊䝍㌿ ㏦㔞䛻ᛂ䛨䛶↓ᩱ㌿㏦ᯟ䜢Ỵᐃ ˁʼʼ< ʽʼ‡ 䠄⣙ˁ൨䝺䝁䞊䝗䠅 䠄⣙ʽʼʼ൨䝺䝁䞊䝗䠅 㝶᫬䛚ぢ✚䜒䜚 ᩱ㔠 ᩱ㔠 ᩱ㔠 ᭶㢠 ୓෇ࠥ ʽʼ ᭶㢠ᇶᮏᩱ㔠ϊ౑䛳䛯ศ䛰䛡ᚑ㔞ㄢ㔠䛷䛤฼⏝䛔䛯䛰䛡䜎䛩 ᭶㢠 ୓෇ ʿʼ