Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【PIXIV MEETUP 2023】ピクシブのデータインフラと組織構造
Search
Kashira
September 29, 2023
Technology
1
4.3k
【PIXIV MEETUP 2023】ピクシブのデータインフラと組織構造
PIXIV MEETUP 2023の発表資料です。
https://conference.pixiv.co.jp/2023/meetup#main-session
Kashira
September 29, 2023
Tweet
Share
More Decks by Kashira
See All by Kashira
【PIXIV DEV MEETUP 2024】AirflowのKubernetes移行 ~ Kubernetesで運用するのは思ったより難しくない ~
kashira
0
900
Other Decks in Technology
See All in Technology
[JSAC 2025 LT] Introduction to MITRE ATT&CK utilization tools by multiple LLM agents and RAG
4su_para
1
110
CDKのコードレビューを楽にするパッケージcdk-mentorを作ってみた/cdk-mentor
tomoki10
0
210
Git scrapingで始める継続的なデータ追跡 / Git Scraping
ohbarye
5
510
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of albums by person
mixi_engineers
PRO
1
140
Evolving Architecture
rainerhahnekamp
3
260
AIアプリケーション開発でAzure AI Searchを使いこなすためには
isidaitc
1
130
【JAWS-UG大阪 reInvent reCap LT大会 サンバが始まったら強制終了】“1分”で初めてのソロ参戦reInventを数字で振り返りながら反省する
ttelltte
0
150
2025年に挑戦したいこと
molmolken
0
180
月間60万ユーザーを抱える 個人開発サービス「Walica」の 技術スタック変遷
miyachin
1
160
20250122_FinJAWS
takuyay0ne
2
110
自社 200 記事を元に整理した読みやすいテックブログを書くための Tips 集
masakihirose
2
350
タイミーのデータ活用を支えるdbt Cloud導入とこれから
ttccddtoki
1
310
Featured
See All Featured
Producing Creativity
orderedlist
PRO
343
39k
Building an army of robots
kneath
302
45k
Music & Morning Musume
bryan
46
6.3k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.4k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
4
180
A Modern Web Designer's Workflow
chriscoyier
693
190k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
3
360
Testing 201, or: Great Expectations
jmmastey
41
7.2k
The World Runs on Bad Software
bkeepers
PRO
66
11k
Transcript
pixiv Inc. ピクシブのデータ インフラと組織構造 @kashira
Profile kashira CTO室 プラットフォーム開発部 エンジニア データインフラの整備や、 データマネジメントを担当
このプレゼンで話すこと • ピクシブのデータインフラ • データ利活用の組織構造 • データインフラの将来の展望
データインフラ
プロダクト数が多い! 2023年8月31日時点 https://www.pixiv.co.jp/service/ 約330名(正社員数)で16プロダクトを運営している 全員が開発する訳ではないが、単純計算で1プロダクトあたり約20人で運営
全社共通のデータインフラ ドメイン コーポレート インフラ マーケティング データを1つのデータインフラに集約
BigQueryの利用状況 • データ量: 約7.8PiB • データアップロード量/日: 約6.9TiB/日 • テーブル数: 約180,000テーブル
• ジョブ数/日: 約52,000件/日 ※2023年9月時点のデータ
Lookerの利用状況 • 月間利用者数(MAU): 248人 • アクティブ率(MAU/正社員数): 74% • モデル数: 1522個
• ダッシュボード数: 1368個 • スケジュール数: 220個 ※2023年8月時点のデータ
全社のデータインフラ
データインフラの全体像
全社のデータ利活用を支えるデータインフラ DBデータ export 分析 load extract Transform ※機械学習などの特殊な要件は別で基盤で処理 ※全社的によく利用されるものをピックアップ
データ基盤チームの仕事
BigQueryの管理 • ストレージの管理・モニタリング • スロット(≒ 仮想CPU) 周りの管理・モニタリング • 機密情報周りの管理・モニタリング •
権限のポリシー設計 • コスト管理
Looker • コスト管理 • CI/CDの管理 • インスタンスとBigQueryの接続周りの管理
Airflow + Embulk(bq-batch) • Airflow管理 • テンプレートの作成 • 使い方のドキュメントを作成 •
CI/CDの管理 • ライブラリの更新
データ基盤チームは データを管理していない
データ整備に 必要なインフラを管理
じゃあ、誰がデータを 管理しているの?
データ利活用の組織構造
データ基盤 ドメイン コーポレート インフラ マーケティング よくある組織構造 横断組織: データ分析チーム・データエンジニアリングチーム
データ基盤 ドメイン コーポレート インフラ マーケティング 中央のデータ組織がデータ利活用の主役 横断組織: データ分析・データエンジニアリングチーム 主役
データ組織が主役の場合 ドメインチーム(分析の依頼人) 分析チーム データ整備チーム 分析依頼 データ連携依頼 データ加工 データ分析 データ仕様 の問い合わせ
データ組織中心の体制は ピクシブには合わない
なぜか?
(再掲) 社員に対してプロダクト数が多い! 2023年8月31日時点 https://www.pixiv.co.jp/service/ 約330名(正社員数)で16プロダクトを運営している = 1プロダクトあたり約20人で運営
プロダクトの数が多い • データ分析はドメイン知識が最重要 • 正社員が約330名に対して、プロダクトの数が16個 ◦ 必要とするドメイン知識も様々 ◦ イラスト、小説、EC、3D、BtoBなどなど •
中央の分析者のみで分析するのは難しい
もし、 ピクシブのデータ利活用の主役が 中央のデータ組織だったら
IFの世界 • 利用者は簡単に分析結果が得られる • → でもデータ分析には時間がかかる • -> 分析依頼が多くなると返答が遅くなる •
→ 利用者体験が悪化、解決にはデータ人材が必要 • -> でも人はそんなに取れない... • → 困った 😭
コミュニケーションがボトルネック ドメインチーム(分析の依頼人) 分析チーム データ整備チーム 分析依頼 データ連携依頼 データ加工 データ分析 データ仕様 の問い合わせ
じゃあ、どうしたのか?
ドメインチームを主役に
データ基盤 ドメイン コーポレート インフラ マーケティング ドメインチームがデータ利活用の主役 横断組織 主役
ピクシブではドメインチームが主役 ドメインチーム データ分析 データ加工 データ連携 データ生成 全部やります!!
ドメインチームが主役だと • 伝言ゲームが少なく、分析のための準備時間が短い !! • ボトルネックが無くスケールしやすい • データの民主化を目指す
ただし、課題も沢山ある...
乗り越えるべき課題も沢山ある • データ利活用をするための認知負荷が高い • データ利活用の環境構築まで手が回らない • 作業者がデータの専門家ではない場合も多い • データガバナンスの統制が難しい
ドメインチームに丸投げ すればいいわけではない
ドメインチームをサポート する体制が重要になる
ドメインチームをサポートする体制が重要 ドメインチーム1 ドメインチーム2 ドメインチーム3 全社プラットフォーム ノウハウの共有・共通ルールの作成のための定例 データ利活用の推進・コンサル
ドメインチームの サポート体制
データ利活用の組織の登場人物 • データエンジニアリング互助会 • データ駆動推進室 • データ基盤チーム 3つのチーム・組織がドメインチームをサポート!
ピクシブのデータ組織構造
データエンジニアリング互助会の役割 • 社内でデータ利活用に携わる仲間と知見を交換・集約できる場 • データに興味がある人達で運営 ◦ 体制図上のチームではない • ベストプラクティスを共有し、分析環境を健全に保つ •
互いに助け合う文化の醸成・維持も担う https://inside.pixiv.blog/2022/07/28/130000
データエンジニアリング互助会の内容 • 9部署15人が良く参加するメンバー • 議題 ◦ 更新されたドキュメントの確認 ◦ 他部署や全社的なルールに関する討論 ◦
現在進行中の案件の共有
• データ利活用をするための認知負荷が高い • データ利活用の環境構築まで手が回らない • 作業者がデータの専門家ではない場合も多い • データガバナンスの統制が難しい 乗り越えるべき課題 対策
データ駆動推進室の役割 • データドリブンな意思決定による業務の効率化を推進 • ドメインチームが自走してデータ利活用するためのサポート • データインフラを整備しても使われない • ドキュメント整備や社内教育活動が必要
• データ利活用をするための認知負荷が高い • データ利活用の環境構築まで手が回らない • 作業者がデータの専門家ではない場合も多い • データガバナンスの統制が難しい 乗り越えるべき課題 対策
対策
データ基盤チームの役割 • データ利活用を自己完結できるデータインフラを提供 • データ利活用のハードルをインフラ面から下げる • データマネジメント関連の作業も担当
全社のデータ利活用を支えるデータインフラ DBデータ export 分析 load extract Transform ※機械学習などの特殊な要件は別で基盤で処理 ※全社的によく利用されるものをピックアップ
• データ利活用をするための認知負荷が高い • データ利活用の環境構築まで手が回らない • 作業者がデータの専門家ではない場合も多い • データガバナンスの統制が難しい 乗り越えるべき課題 対策
対策
結果どうだったか?
⭕ 上手くいった所 • データの繋ぎこみ、分析がチーム内で素早く完結する • スケールしやすい • エンジニアの分析への関心度が高い • コスト最適化しやすい
• インフラのナレッジが溜まりやすい
△ まだ対策が必要な所 • データ品質管理が難しい • ナレッジの共有が難しい • ビジネス職にはハードルが高い • データ基盤チームがボトルネックになりやすい
データ品質管理が難しい • データ品質を保つのはそもそも大変 • + データ利活用する人がデータの専門家でないことが多い • 啓蒙もベストプラクティスも工数も足りない
データ品質管理への対策 • データオーナーを立てる • 全社的なデータ品質チェックの追加 • データリネージの導入 • (やりたい) データカタログのテンプレート整備
• (やりたい) dbtでのテストの強制
ナレッジ共有が難しい • データ利活用する人が各部に分散している • 大抵一人で作業を進めるケースが多い • データエンジニアリング互助会の取り組みでは不十分 • 特に基礎的な部分が足りていないケースが多い
ナレッジ共有への対策 • データ基盤チーム・データ駆動推進室が旗振り役となる • 読書会を様々な部署を巻き込んで実行する • 今は以下の2つの読書会を開催している ◦ Fundamentals of
Data Engineering ◦ LEAN ANALYTICS
ビジネス職にはハードルが高い • エンジニアであればドキュメントを見るだけ、データ利 活用が出来るインフラを整備している • ビジネス職オンリーのチームは難しい • ビジネス職には必要なスキルの難易度が高い ◦ SQL、Git、Python
ハードルを下げるための対策 • (やりたい) トレーニングの強化 • (やりたい) データ連携を簡略化するツールの提供
データ基盤チームがボトルネック • データツールは進化が早い • ツール導入の遅れはデータ利活用の遅れに • でも全社共通インフラでは導入のコストが大きい
ボトルネックへの対策 • データ基盤チームの責務を無闇に増やさない • 共通ルール・共通処理を無闇に増やさない • 移行作業ではドメインチームにも手伝ってもらう
データ基盤チームとしての 将来の展望
データ基盤チームの将来の展望 • データ整備のサイクルタイムを短く • 全社のデータ品質・メタデータの強化 • データインフラをProduct化
データ整備のサイクルタイムを短く • データ整備にかける時間を短縮! • dbtとFivetranを絶賛導入検討中 • 合わせてデータ品質の向上に着手 Modern Data Stackの導入
データ品質・メタデータの強化 • dbt移行に合わせてテスト・メタデータを強化 • データカタログのテンプレートポリシーの策定 • 全社的なデータ品質チェックの更なる追加
データインフラをProduct化 • 定常的にフィードバックを受け取れる仕組みの整備 • 社内に向けたマーケティング • KPIの策定 • コスト最適化 •
価値の可視化
まとめ
全社共通のデータインフラ ドメイン コーポレート インフラ マーケティング データを1つのデータインフラに集約
データ基盤 ドメイン コーポレート インフラ マーケティング ドメインチームがデータ利活用の主役 横断組織 主役
ピクシブではドメインチームが主役 ドメインチーム データ分析 データ加工 データ連携 データ生成 全部やります!!
ドメインチームをサポートする体制が重要 ドメインチーム1 ドメインチーム2 ドメインチーム3 データ基盤チーム データエンジニアリング互助会 データ駆動推進室
ご清聴ありがとうございました