SnowflakeDCRやってみた話

SnowVillage Unconference #3
で話したことです。
Snowflake Data Clean Room
https://techplay.jp/event/957866

Transcript

1. Since 2004 zen placeは、「あなたのなりたい」とその先の未来をサポートします 未来予想図 Data Clean Room をやってみた話 Kaori Nishimura
2. 最先端研究結果・科学をもとにした DX・Web3.0との融合 世界基準のピラティス・ヨガスタジオを 運営する株式会社ZEN PLACEは、 グローバルな環境で最新技術とDXで挑戦を重ね、 ウェルビーイングとサービス業界に イノベーションを起こしている Well-being Development Companyです。 Since 2004 国内のみならず、中国など海外の ピラティス・ヨガスタジオ運営、 養成コース・ワークショップの開催 免疫や内蔵機能の調節など 様々な生体機能に 効果があるといわれているCBDの 取扱販売や自社開発など ウェルビーイングを促進する 自社開発アプリやAI解析サービス、 ヘルスケア・アプリの開発 豊かな一生をサポートする クリニック・訪問看護の運営 日本のウェルビーイングを、世界最高にする
3. 一応、自己紹介 • 名前：西村かおり • 会社：zen place(ピラティスとかヨガとかやってる会社です) • https://i.qrjp.net/3zwy3 (free trial url) • SnowVillage: kaori • X: @usakoyama • Qiita: qiita.com/usakoyama • Facebook: facebook.com/nishimurakaori
4. 本日話すこと •DCRをやってみたぜ！という記録 (おそらく、日本の企業同士で初！)
5. 本日たぶん話さないこと •Snowflakeでのテクニカルな話
6. そもそもデータクリーンルームとは •データ クリーンルームは、直接的なアク セスを防止し、クエリ制限を適用して機 密データを共有する環境です。 →ハッシュ化したメールアドレスとかで突 合します
7. 何のためにやるのか？ - 私がやってみたいからやった！ - 新しい機能があったら使ってみたい！ - 他社と何かジョインできるきっかけがあるかもしれない - 何か面白い結果が得られるかもしれない！ - 弊社のクライアントさんの趣味嗜好とか
8. 事業会社側でやること (ふだんはエンジニアがやらないこと) - DCRの相手を見つける - 喜田さんから読売新聞さんを紹介してもらえた。 - 社内でえらい人に許可を取る - 弊社だと代表取締役。とりあえず「今回は無料です」って言っ てOKもらった。 - 相手の会社とNDAを結ぶ - 弊社の法務担当に内容確認してもらって「ここ直してもらっ てー」というところを修正。 - とか、もろもろメールのやり取りとか、事務作業とか。 等
9. 事業会社側でやること (エンジニアがやること) - 検証したいデータの準備 - 弊社の顧客データをハッシュ化したもの - 数万件用意 - データシェアの設定 - 弊社の情報を渡す - 相手から設定してもらうとsnowsightにデータベースがで てくる
10. 弊社で用意したDB シェアしてもらったDB
11. DCR検証 - 1 - 弊社側からは投げれるクエリが決まっている - シェアされたViewの中身は、（キーワード一覧以外）そのまま見れない。 - どのidがヒットしてるのかわからない - マッチ数だけがわかる。 - マッチ数が少ないと、「数件マッチした（件数は少ない）」ということだ けわかる
12. DCR検証 – 2 検証SQL ``` SELECT count(c.EMAIL_SHA256) as consumer_cnt, count(p.mail) as yomiuri_cnt, DIV0(yomiuri_cnt,consumer_cnt) as match_ratioFROM ( SELECT distinct EMAIL_SHA256 FROM DCR.YOMIURI.ZENPLACE_USER ) cLEFT OUTER JOIN yomiuri_dcr.cleanroom.yomiuri_users_with_mail pON c.EMAIL_SHA256=p.mail; ```
13. DCR検証 - 2 - どれくらいヒットしたのか？ - メールアドレス 514 / 40321 - 電話番号 282 / 41239
14. DCR検証 – 3 関心キーワード • メールアドレス or 電話番号でマッチしたレコードのうち、 相手方が予め用意したキーワードともマッチしたレコードの件数を 確認することができる
15. DCR検証 – 3 関心キーワード FEATURE_RATIO WATCHED_SCORE WATCHED_CNT UNIQUE_CNT TARGET NO 0.908689306 0.046693 355 24 育児 10 0.804876862 0.033074 too few match too few match ファッション 14 0.770081234 0.085603 825 44 エンターテイメント 33 0.747863627 0.025292 too few match too few match ギャンブル 17 0.742964748 0.05642 413 29 ゲーム/玩具 18 0.710194465 0.021401 too few match too few match 夏 29 0.708665788 0.040856 265 21 物流/運輸 20 0.702071994 0.023346 too few match too few match スポーツ観戦 26 0.662076593 0.054475 445 28 コロナウイルス 5 0.657419625 0.122568 1828 63 小売 21 0.644437796 0.060311 418 31 ファイナンス 15
16. やってみてわかったこと - とりあえず、マッチした！ - マッチする件数を予想してなかったので、多いのか少ないのか全然 わからない - 「マッチしたぜ！イエーイ！」で終わってる。 - この結果を持って次の行動に移したかったが、分析するところまでた どり着けず。
17. できればやりたかったこと - 男女別とか年代別とかで関心キーワードの分析とかにいきたかった （けど、クラスタ分けするにはマッチ数が少なすぎる。） - 弊社のマーケ担当が忙しすぎるので、手伝ってくれてる広告代理店 とかに話を持って行ってもいいかも。
18. 次回もDCRをやるチャンスがあるなら？ - 分析の計画と巻き込む人を増やしたい - キーワードとか、もうちょっと関わりたい DCRのお相手を探しています！ よろしくおねがいします！
19. Since 2004 シームレスな事業展開で 社会に変化をもたらす ユニークでオンリーワンの会社です ZEN PLACEと、もっとウェルビーイングな未来へ