第3回Snowflake女子会_LT登壇資料（合成データ）_Taro_CCCMK

Slide 1

Slide 1 text

Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright (C) 2023 Sumitomo Mitsui Card Co., Ltd. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Vポイントの合成データをTableauで可視化!? 果たしてそれっぽいデータが出る?? Tableau初心者のイチからのチャレンジ! IT戦略本部本部長松井太郎

Slide 2

Slide 2 text

Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 2 Snowflakeと私・2020年にSnowflakeと出会い、Vポイント分析基盤に採用（現在はグループ各社にも拡大）・今年からSnowVillageにも参加し、熱くて暖かいコミュニティの皆さんに刺激を受ける毎日!! ・最近は、Snowflakeのプライバシー保護機能、データクリーンルームなどのセキュアにデータ活用するための技術記事を書いています・イベント登壇時は、Snowflakeの青Tを着ているので、トイレの場所をよく聞かれます ※本日の会場は、施錠していますので、CCCMKさんの社員にお声がけください Xのアカウントはこちら

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 6 どんなことが出来るの？・合成データは実在（本番）のデータのデータパターンや構造を維持している・実在データではないため、プライバシー保護やセキュリティ問題を緩和できる・例えば本番のデータに近しいテストデータを作ってテストしたい・データコンペなどをそれっぽいデータで実施したい（本番データは出せない）・ダッシュボードのイメージ確認のためのサンプルデータ

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 8 ①合成データを作るための入力元テーブルを指定する（※上限280万件） ②合成データの出力先テーブルを指定する ③結合キーを決める（同時生成したテーブル間の結合キーがマッチする） ④上記パラメータを指定して、ストアドプロシージャを実行する ※Snowparkウエアハウス Mサイズ～（Lサイズで約15分/200万件ぐらい） privacy_filterはモロの個人情報なければfalseがいいよ！

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

面白そうですね！でもデータ公開しても大丈夫なんですか？もちろんデータは調整するし、細かいの出さない予定、クローズドだし、って一言添えれば大丈夫じゃない？ Youtubeで後日公開する予定なんですけど・・え？やっと女子会の準備に始めれそう！ Vポイントの本番データと合成データを可視化して比較したら面白そうだよね？え？ 12月某日

Slide 12

Slide 12 text

Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright (C) 2023 Sumitomo Mitsui Card Co., Ltd. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Vポイントの本番っぽいデータから合成データを作って、DATA Saberに作ってもらったViz でどれくらいデータは似ているのか？松井太郎

Slide 13

Slide 13 text

Slide 14

Slide 14 text

ここから、Vizタイム

Slide 15

Slide 15 text

No content

Slide 16

Slide 16 text

Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 16 元データと比べて、時系列のUU数の特徴や年代など大きな特徴は継承出来ていると思います！一方で数量などの数値項目は数量が均一化されており、全体の傾向と乖離していました。このような特性を理解した上でデモ用やVizのイメージ確認用の本番っぽいデータが欲しい！という時にサクっと作れる合成データは役立つと思います！