Treasure Data TechTalk 2022 - TD CDP in 30 minutes

by Minero Aoki

Slide 1

Slide 1 text

2022-11-29 30分でわかる！ Treasure Data CDP 〜Applicationsチームプレゼンツ・おもしろ技術博覧会〜 Minero Aoki

Slide 2

Slide 2 text

© 2022 Treasure Data, Inc. 自己紹介 ● 青木峰郎（あおきみねろう） ● 元Rubyコミッター、著書多数→ ● 前々職並列RDBMSベンダー ○ 並列データベースと出会う ● 前職クックパッド ○ 検索分析サービス「たべみる」の開発 ○ DWHの構築 ● 現職 Treasure Data（3月から） ○ Apps BE（Applications Backend）チームにてCDPの開発

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© 2022 Treasure Data, Inc. CDPはアプリ+DB、DWHはデータ自体 • CDPはアプリケーション＋データベースの全体 • DWH（Data Warehouse）は履歴データを収集し統合するという点ではCDPと非常に似ているが、アプリケーションは含まない • CDPは顧客データに特化しているが、DWHは他のサブジェクト（例: 仕入れとか生産とか）も持つ app CDP DWH DWHの定義: https://en.wikipedia.org/wiki/Data_warehouse#Data_warehouse_characteristics

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© 2022 Treasure Data, Inc. Applications Backendチームの担当領域領域担当メンバーチームリーダー @spikeolaf 新機能1 @k_tsj, @hkdnet 新機能2 @chezou, @ganmacs, @dmikurube, iwabuchi 新機能3 @inohiro 新機能4 @uu59 CJO @Lewuathe ID Unification, Audience Workflow @mineroaoki 黒幕 @naruse 基本的に1機能1人で担当しています

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© 2022 Treasure Data, Inc. ID UnificationによるID統合 • TDのID Unificationはテーブルのリレーションシップだけを元に統合する • 曖昧性のある統合はサポートしていない • 例: 住所と電話番号とメアドのうち2つが一致していたら統合 id card_id cookie_id 3533895 984676 2353466 3544896 984677 1216623 3544896 984679 6325606 cookie_id web_user_id 2201857 15320509 1216623 15320510 4425606 15320511 ポイントカードマスターウェブアクセスログ

Slide 19

Slide 19 text

© 2022 Treasure Data, Inc. ID UnificationのID統合アルゴリズム（超簡略版） 1. IDカラムだけをすべて抜き出す 2. リレーションシップを元に、関連付けられたキーをグループにしていく 3. グループ化が収束するまで2を繰り返す card_id cookie_id 984676 2353466 984677 1216623 984679 6325606 cookie_id web_user_id 2201857 15320509 1216623 15320510 4425606 15320511 web_user_id cmpn_cid 15320509 5320577 15320510 5320578 15320511 5320579 1回目 2回目

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2022 Treasure Data, Inc. Digdagワークフローは基本的に静的 Digdagサーバーに事前に登録したワークフローがスケジュール起動される Digdag timezone: UTC schedule: daily>: 06:00:00 +create_database: td_ddl>: create_databases: [${matrix_database_name}] _retry: 5 +create_table_customers: td>: create_empty_table.sql engine: 'presto' table_name: ${matrix_customers_tmp_table_name} _retry: 5 +customers: td>:customers.sql engine: hive insert_into: ${matrix_customers_tmp_table_name} _retry: 5 …… Plazma SQL SQL SQL スケジュール起動 xxxx.dig この食い違いをどう解決するか？

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© 2022 Treasure Data, Inc. 『静的』だけど『静的』じゃないそれがAudience Workflowレクイエムワークフローの冒頭で APIサーバーから動的パラメーターを読み込んで注入する Digdag timezone: UTC schedule: daily>: 06:00:00 +create_database: td_ddl>: create_databases: [${matrix_database_name}] _retry: 5 +create_table_customers: td>: create_empty_table.sql engine: 'presto' table_name: ${matrix_customers_tmp_table_name} _retry: 5 +customers: td>:customers.sql engine: hive insert_into: ${matrix_customers_tmp_table_name} _retry: 5 …… Plazma SQL SQL SQL スケジュール起動 audience.dig CDP-API 動的に注入する

Slide 29

Slide 29 text

© 2022 Treasure Data, Inc. Audience WorkflowのDigdagワークフロー（抜粋） +get_queries: http>: <%= escape_yaml_literal @queries_uri %> headers: 略 store_content: true +customers: td>: query: ${JSON.parse(http.last_content)["customers"]} engine: ${JSON.parse(http.last_content)["customers_engine"]} insert_into: <%= escape_yaml_literal @matrix_customers_tmp_table_name %> <%- if @special_behavior_workflow -%> +behaviors: for_each>: behavior_workflow_name: <%= escape_yaml_literal @behavior_workflow_names %> _do: +run_behavior_workflow: require>: ${behavior_workflow_name} <%- else -%> +behaviors: for_each>: behavior: ${Object.keys(JSON.parse(http.last_content)["behaviors"])} _do: CDP-APIを呼んで動的パラメーターを取得動的なパラメーターの埋め込みこれは静的な分岐静的なパラメーターまた動的なパラメーター（静的パラメーターからの派生値なので）これも静的セグメント作成時、ワークフロー起動時、ワークフロー実行中に評価タイミングがバラまかれている酷いワークフローぼくと契約して動的ワークフローになってよ！ CDP-API（悪）

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 2022 Treasure Data, Inc. IonはSQLの構文木（AST）そのもの { type: “And”, conditions: [ { type: “Value”, left_value: { database: “cdp_audience_1”, table: “customers”, column: “country_id” }, operator: { type: “Equal”, not: false, right_value: “Japan” } }, { type: “Value”, left_value: { name: “age” }, operator: { type: “Equal”, not: false, right_value: 36 } ] } And country_id = ‘Japan’ age = 36 対応するSQLのAST Ion 余談: IonはCDP-APIのリクエストパラメーターなので、OpenAPIでSQLの構文を書くことに……

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© 2022 Treasure Data, Inc. CJOの内部実装超巨大な横長テーブルにカラムとして全ステートを並べて、行を更新することで状態遷移を表現する customer_id st_1 st_2 st_3 st_4 st_5 st_6 st_7 st_8 st_9 …… aaaaaaaaa ◯ bbbbbbbbb ◯ cccccccccc ◯ ddddddddd ◯ ◯ eeeeeeeee ◯ fffffffffffff ◯ ggggggggg ◯ UPDATE（状態遷移）