アナリティクスエンジニアのキャリアとデータモデリング 〜資料「30分でわかるデータモデリング」を読む前に知ってほしいこと〜 / 20240116

株式会社リクルート様の社内勉強会で用いた資料となります。
関係者の許諾を得て公開しています。

＜採用・カジュアル面談＞
https://kazaneya.com/recruit

＜サービス提供＞
https://kazaneya.com/service

Transcript

1. アナリティクスエンジニアのキャリアと データモデリング 〜資料「30分でわかるデータモデリング」を読む前に知ってほしいこと〜 2024-01-16 株式会社風音屋 横山翔（@yuzutas0） 株式会社リクルート 社内勉強会 発表資料
2. はじめに
3. この資料で話すこと 3 - 資料「30分でわかるデータモデリング」の前置き - 勉強会の参加者にとって、データモデリングを学ぶことで、どのようなキャリアのメリットがあるか
4. 会社概要 4 上場企業からスタートアップまで、幅広い企業の DX を支援する東京下町のITコンサルティング企業 会社名 株式会社風音屋（英名：Kazaneya, Inc.） 本店所在地 東京都中央区東日本橋 代表取締役 横山翔、竹信瑞基 メンバー 45名：従業員8名、業務委託・アドバイザー37名（2023年12月末時点） 取引実績 （一部抜粋） ・プライム：製造、物流、金融、エンタメ ・グロース ：人材、EC、販促ツール ・未上場：不動産、自動車販売、音響制作
5. 強みとする業務領域 5 データの入口から出口まで、データ経営の実現に向けて仕組み作りを推進 データアーキテクチャ データソース データ利用者 BI データ分析 DWH データ集計 ETL データ統合 データパイプラインの構築と運用 モニタリングと業務改善 継続改善の文化装着
6. 当社の沿革 6 専門書の著者たちによる副業ギルドから始まり、取引拡大に伴って正社員体制へと移行 2019年 ・12月に合同会社風音屋を設立。 2020年 ・「専門家たちによる副業ギルド」として、副業（個人事業主）から契約を切り替える形で、各社にサービス提供を開始。 ・書籍『データマネジメントが30分でわかる本』を出版。 2021年 ・業務委託・アドバイザー20名体制に拡大。 ・技術コミュニティ「datatech-jp」を立ち上げ。風音屋Slackのコミュニティとしての側面を分離。 ・書籍『実践的データ基盤への処方箋』を出版。 2022年 ・2月に株式会社へと変更。共同代表2名が着任。 ・組織体制の整備を進め、正社員採用を開始。 ・問い合わせ多数のため新規案件の受付を一時停止。 2023年 ・従業員8名体制に拡大し、新規案件の受付を再開。本格的な会社組織として再スタート。
7. 株式会社風音屋 代表取締役 7 横山 翔（@yuzutas0） • リクルートやメルカリにてデータ活用を推進、AWSを経て、風音屋を創業 • 広告配信の最適化、店舗営業のインセンティブ改善など、データ分析によって数億円規模のインパクトを創出 • Googleが認定する技術エキスパート Google Cloud Champion Innovator (Data Analytics) • 東京大学 経済学研究科 金融教育研究センター 特任研究員を兼任 主な登壇・発表 • Pythonのカンファレンス PyCon JP 2017 にてベストトークアワード優秀賞 • 翔泳社主催 Developers Summit 2018 Summer にてベストスピーカー賞 • Google主催 Google Cloud Day ‘21, ‘23, Google Cloud Next Tokyo ‘23 • 日本統計学会 第16回春季集会 主な執筆・出版 • 内閣府『経済分析 第208号 - 景気動向分析の新たな潮流』 • 技術評論社『実践的データ基盤への処方箋』 • 技術評論社『Software Design 2020年7月号 - ログ分析特集』 • 風音屋『データマネジメントが30分でわかる本』
8. 現代社会におけるデータの重要性
9. データは情報社会・知識労働においてビジネスのコア 9 人・物・金・情報の動きをデータで表現し、データをやり取りすることでビジネスが成り立っている https://www.ntt-tx.co.jp/column/yasuda_blog/20151102/
10. 例）予約サイト：店舗の「空き席」の情報を提示し、「予約」に更新することで価値が生まれる データの動きがビジネスに直結 10 店舗 消費者 店舗 店舗 消費者 消費者 予約サイト 空席 情報 空席 情報 空席 情報 予約 予約 予約
11. データ用途の多様化 11 @yuzutas0がこれまで実施してきた取り組み（一部抜粋） KPIモニタリング ユーザー行動の可視化 傾向分析 例：問い合わせや人気ジャンル 施策の効果測定 広告配信の自動最適化 業者・スパムの自動判定 顧客セグメントの可視化 キャパシティ計測 例：CSの処理件数 マスタデータ管理 例：顧客情報の引き継ぎ レコメンデーション コンテンツ制作促進 例：データ駆動で番組企画 プライシング最適化 ＆従業課金の実現 https://speakerdeck.com/yuzutas0
12. データを扱う際の社会的責任 12 https://note.com/kazaneya/n/n42f585e04e79
13. アナリティクスエンジニアの立ち位置と期待される役割
14. テクノロジーの変遷と「アナリティクスエンジニア」というメッセージ 14 より多くの人が、より簡単に使える（easy to use）方向にテクノロジーが進化 高価な専用製品 一部の人だけが利用可能 OSS（Hadoop等） 意欲があれば誰でも学べる クラウドDWH 1クリック＆0円で利用開始 インフラ管理が最小限 ①データ インフラ ②データ 処理・管理 典型的なETL製品 データを抽出して マシン上で処理するツール OSS（Airflow等） DWHの計算力を使うツール ELTは各社でdbt相当にカスタマイズ OSS（dbt等） ELT用途に機能を絞る より easy to use に進化 ？ クラウドDWHの台頭によって「①いかにビッグデータをインフラ上に統合・処理するか？」から 「②いかにデータを分析に使いやすく整備するか？」に関心領域がシフトしている。 一部のベンダーやコミュニティは②の重要性をメッセージするために、 ①の担当者を「データエンジニア」、②の担当者を「アナリティクスエンジニア」と呼ぶ。 ※当然ながら各社で職種名や呼び方は異なるので、①を担うアナリティクスエンジニアもいれば、②を担うデータエンジニアもいる点に注意。
15. アナリティクスエンジニア ≠ SQLやdbtを使えるだけの作業者 15 あえて危機感を煽るような言い方をすると…… ツール（例：dbt）を使うだけなら、1ヶ月あれば誰でもそれなりに使いこなせるようになる。 それさえやっていない場合／できない場合はエンジニアとしては危機感を持ったほうが良いかも。 まずツールを使いこなせるようになるのは大前提。年末年始や三連休に何かしら手を動かしましたか？ その上で、単にツールが使えるだけの「自称アナリティクスエンジニア」だと活躍の幅は狭い。 要件通りにSQLを書いて手順通りに実行するだけなら「SQLやdbtを使えるだけの作業者」でしかない。 「ソフトウェアエンジニア」の下位互換。わざわざ専任人材としてポジションを設けたり、高いお金を払う必要はない。 根拠を持って「使いやすいシステム」「メンテナンスしやすいシステム」を作っていけるか？ 「SQLやdbtを使えるだけの作業者」ではなく「エンジニアリング業務を担える人材」になろう！
16. アナリティクスエンジニアが担うべき役割のコア 16 60分の定例ミーティングが40分で終わった。 ↓ クライアント「時間が残ったので新施策の相談をしたい。◯◯という課題感で◯◯をしようとしている。」 ↓ 風音屋メンバー「この場でデータを見てみますか！」 ↓ 画面投影しながら10分でデータを集計＆可視化 ↓ クライアント「おおー！！（感動）」 ↓ 風音屋メンバー「思ったより◯◯ですね。この施策で◯◯を◯◯に増やせる余地がありそうです。」 ↓ クライアント「すごい。10分で仮説を検証できちゃった。そうやってデータを見ればいいのか。」 ・素早く＆安全にデータを使えるように、データの仕様を把握して整備する ・データ利用者に使い方を案内して、快適なデータ分析体験を社内展開する （dbtはあくまでツールの1つ） 風音屋で先週あったこと
17. 横断データを扱うことが専門性の1つとなる 17 ・用途に応じた各システムのデータを統合することで、横断的なモニタリング／分析／活用が可能となる。 ・データウェアハウスでのデータの扱いに長けた人材は独自の役割を果たすことができる。 業務データベースA 例：営業管理システム 業務データベースB 例：予約サイト 目的A 例：営業活動 目的B 例：店舗予約 目的C 例：広告配信 業務データベースC 例：広告ツール 複数システム横断の モニタリング 複数システム横断の データ分析 複数システム横断の データ活用 複数システム横断の データウェアハウス 各業務システムを担当する アプリケーションエンジニア 複数システムのデータを扱う アナリティクスエンジニア
18. データウェアハウスにおけるデータモデリング
19. 数十年の歴史を経て、様々な手法が考案されてきた。手法ごとに得意とする位置づけが異なる。 ・特に業務ドメイン知識をデータで表現する「ディメンショナルモデリング」については 　書籍『データマネジメントが30分でわかる本』や『実践的データ基盤への処方箋』でも紹介してきた。 ・これらの手法を実践的な落とし所としてまとめたのが風音屋の「30分でわかるデータモデリング」資料。 ・テクニックではなく「使いやすいデータとは何か」「エンジニアリングとは何か」を考えてほしい。 ※データモデリングも「1つのツール」である点に注意。各手法の背景にはデータベースの歴史がある。 横断データを扱うためのデータモデリング手法 19 前処理のTipsを体系化した Data Vault 2.0 業務知識をマッピングする ディメンショナルモデリング 利用者が加工不要で使える 大福帳（OneBigTable） データ ソース データ 利用者
20. 例えば… ・元データのコピーを格納する「raw__xxx」 ・顧客属性や商品カテゴリといった分析の切り口は「dim__xxx」 ・商品購入の金額・数量といった集計対象は「fact__xxx」 責務に応じてレイヤーを分け、命名規則で管理する 20
21. 例えば「データの出口」視点なしにData Vault 2.0だけ導入しても利用者がbridgeの仕様把握に疲弊する。 ベースとなる考え方は、拙著『実践的データ基盤への処方箋』で解説しているので、ぜひ読んでください。 土台となるのがデータ基盤の3層構造 21
22. https://speakerdeck.com/recruitengineers/iosdc-takahashi-ishii レイヤリングによる交通整理で満足せず、ドメイン知識に注目して設計に反映する 22
23. 「どの切り口で比較すると良さそうか？」「どの指標を見るのが重要か？」を整理する過程で、必然的に インパクトの大きい領域を特定しやすくなる。データ分析とデータモデリングは本質的に連動する。 データ分析の要件を洗い出す ∋ ディメンションとファクトを列挙する 23
24. ディメンショナルモデリングによって中間テーブルが整備されている場合、 クエリ作成やデータ整備の手順が明確になり、依頼者へのヒアリングや作業の見積もりが容易になる。 ディメンショナルモデリングによるクエリ作成手順の型化 24 分析テーマの設定 比較軸（ディメンション）の特定 ビジネスイベント（ファクト）の特定 注文：注文金額、注文UU、注文点数 Where（店舗）、What（商品）、Who（顧客属性）、When（季節） 新型コロナで注文の傾向が変わったか確認したい ※データモデリング未整備でも、同じ発想で分析計画を立てられる。この手順で分析を繰り返すと、どういうテーブルが必要かが見えてくる。
25. フロンティアを突き進もう
26. ロールモデル不在の世界 26 今回の勉強会開催にあたって「キャリアの参考になるロールモデルを提示したい」と相談いただいたが、 残念ながらアナリティクスエンジニアの世界で「お手本になる」と思えた人は正直いない。 なぜか？ 変化の激しい分野において、挑戦者たちは誰もが最先端（フロンティア）に立っているから。
27. 自分たちがロールモデルになろう 27 この分野では自分たちの取り組みが100年後のお手本になる可能性がある。 自分たちがロールモデルになる。そういうモチベーションで「風音屋」という会社を立ち上げた。
28. 30分でわかるデータモデリング 28 風音屋のメンバーには「SQLやdbtを使えるだけの作業者」では将来のキャリアが開けないこと、 「1人のプロフェッショナルとして活躍できるエンジニア」を目指してもらうように言っています。 これから紹介する「30分でわかるデータモデリング」の資料も、1人の若手エンジニアがまとめました。 お互いに学びを共有しあい、一緒にフロンティアを開拓していくキッカケになればと思っています。