2023/03/14 に開催された 「【DeNA／PayPay／マネーフォワード】波乱万丈伝から学ぶ！成長企業におけるデータマネジメントの勘所～大規模データ分析基盤の変遷～」 での データ本部データ基盤部データエンジニアリング第一グループ 長谷川 了示の登壇資料です。
イベントページ：https://techplay.jp/event/892180
© DeNA Co., Ltd. 1ペタバイト、30プロダクトを超えて成長を続けるデータ基盤の歴史長谷川了示データ本部データ基盤部データエンジニアリング第一グループグループリーダー株式会社ディー・エヌ・エー
View Slide
© DeNA Co., Ltd. 2長谷川 了示コンサルティングファーム、分析系SaaSベンダを経て2016年に DeNA に入社。以後、一貫して全社のデータ分析基盤の設計・構築・運用に従事。直近は、 pococha を始めとしたライブストリーミング事業のデータ基盤を担当。データ本部データ基盤部データエンジニアリング第一グループグループリーダー[email protected]© DeNA Co., Ltd.自己紹介
© DeNA Co., Ltd. 3これからお話する内容● DeNA のデータ基盤の歴史は「勃興 -> 浸透 -> 拡散」というフェーズを辿ってきた● データ基盤の形に合わせ、組織の形も変えてきた● それぞれのフェーズでどのような課題に直面し、どう対処してきたかお話します※ 実際はもっと紆余曲折あったところを、分かりやすく単純化してお伝えしてます
© DeNA Co., Ltd. 4DeNA 略史1DeNA データ基盤史データエンジニア組織の歴史残る課題とこれからのチャレンジ432目次
© DeNA Co., Ltd. 55DeNA 略史5
© DeNA Co., Ltd. 6ネットオークションに始まり、ゲーム、エンタメからスポーツ、ヘルスケアまで様々な事業にチャレンジを続けている沿革インターネットオークション開始1999ショッピングモール開始2002モバイルオークション「モバオク」開始2004ゲーム & SNSサイト「モバゲータウン」開始2006ソーシャルゲーム「怪盗ロワイヤル」開始2009ライブストリーミング事業開始2013オートモーティブ事業開始2015東証マザーズ上場2005東証一部上場2007プロ野球参入2011ヘルスケア事業開始2014プロバスケットボールクラブの承継2018
© DeNA Co., Ltd. 7エンターテインメント領域と社会課題領域の両軸で多数の事業を展開中現在の事業ポートフォリオLIVE STREAMINGGAME HEALTH CARESPORTS 新領域オートモーティブMEDICAL
© DeNA Co., Ltd. 88DeNA データ基盤史8
© DeNA Co., Ltd. 9分析の専門組織や大規模分析基盤を立ち上げる以前から、データに基づきプロダクトを改善する文化は存在していた。ただし...● RDBやExcelによる分析● プロダクト分析は、専任スタッフではなく、企画スタッフ・エンジニアが実施● マーケティングチーム用には分析専用のデータマートが存在し、プロダクト横断的な分析を行っていたが、MySQLで実行できる規模有史前Log Server…DB Server…App ServerApp ServerBatch ServerDB ServerMarketing Data Mart(MySQL)…データ基盤が「データ基盤」と呼ばれるようになる以前
© DeNA Co., Ltd. 10ゲーム事業の急成長と共にデータ基盤が必要となった● 怪盗ロワイヤルに代表されるモバイルゲームの大ヒット○ 事業が急成長するのに伴い、分析に基づいたプロダクト改善の重要性も高まる● ゲーム事業部内で、アナリストと分析基盤エンジニアが一体となった組織を構成し、大規模データを分析できる基盤と専門組織を立ち上げた● 大規模データを分析可能にするために分散処理基盤(Hadoop)の運用を開始データ基盤の勃興
© DeNA Co., Ltd. 11● オンプレミスの hadoop● Pig, Hive, MapReduce による処理● 重要なKPIについては MySQLとBIツールで可視化● 単一事業のデータ基盤: 利用部門はゲーム事業のみ● 2010年の話○ "Hadoop: The Definitive Guide"(いわゆる象本)の初版の日本語版が出版された年。分散処理基盤の導入勃興期のデータ基盤プロダクト環境App ServerDB Serverデータ基盤DeNA On-PremisesHadoopBatch ServerJenkinsHueAnalytics DB(MySQL)BI Tool(Pentaho)
© DeNA Co., Ltd. 12利用事業/部署の拡大、分析ニーズの高まり● 利用事業がゲーム以外に広がる● ゲーム事業においても、運営専門子会社化の立ち上げなど、体制の変化が進む● 分析ニーズが高まり、アナリストの生産性向上が求められるようにデータ基盤の浸透
© DeNA Co., Ltd. 13● 全ての事業/プロダクトのデータを一つの基盤に同居させる● 権限管理の導入○ 担当範囲のデータのみ参照できるように設定● 生産性向上○ 使い勝手のよいツールの内製BIツール (Argus)等○ Vertica 導入によるレスポンス向上共通基盤へ拡張浸透期のデータ基盤Product AApp ServerDB Serverデータ基盤Product BProduct C・・・DeNA On-PremisesHadoopArgus(内製BIツール)Batch ServerJenkinsHue改善点プロダクト環境
© DeNA Co., Ltd. 14システムが肥大化し、運用のつらみが顕在化● 大規模かつマルチテナントの難しさ○ 大規模分散処理システムの安定運用には高い専門性を持った人材を多数アサインする必要がある○ 一人のユーザが入れた重い処理が、最悪、全利用者に影響○ 個別の「こんなツールを使いたい」という要望に応えづらい○ 自由度を与えすぎたことによるトラブル(ユーザが意図せず環境を壊してしまう等)● 後から増改築したことによる技術的負債○ 権限管理可能な環境を構築するためにHadoop クラスタを追加(ゲーム用とそれ以外用の２つのクラスタを運用)データ基盤浸透に伴う課題
© DeNA Co., Ltd. 15多結晶型基本構成は共通だがカスタマイズ可能な多数の環境を構成● クラウド上にデータ基盤を再構築○ 分散処理基盤の運用はクラウドベンダに任せる● 事業・プロダクト毎に環境を分割● 更にコンテナ技術を活用し、利用者の自由度を担保しつつ統制を効かせる● IaC により環境を金太郎飴化し、管理のスケール化を図るデータ基盤拡散期へBI ToolsProduct Aプロダクト環境App ServerDB Serverデータ基盤Product AGKEdigdag batchwebappArgusProduct BProduct CProduct BProduct C・・・・・・CloudStorageBigQueryLooker「多結晶型」データ基盤として再構築改善点
© DeNA Co., Ltd. 16詳細が気になった方はこちらもご覧下さい(3年前の登壇ではありますが)データ基盤再構築について詳しく紹介しています。Cloud Data Platform Day #2Google Cloud を使ったデータプラットフォームへの変革と最新の活用状況についてhttps://www.youtube.com/watch?v=FsFHuXkBl8U
© DeNA Co., Ltd. 171717データエンジニア組織の歴史
© DeNA Co., Ltd. 18横断組織化単一事業部門内組織データ基盤の進化に合わせ、データエンジニア組織も形を変えてきた有史前〜浸透期のデータエンジニア組織有史前 浸透期勃興期専門組織は存在せず各事業部門のエンジニアがMySQL やサーバ上のログがら直接取得・加工ゲーム事業部門内にデータエンジニア・アナリスト一体の組織が立ち上がる(当時「データエンジニア」という言葉はなかったが)ゲーム事業以外にデータ基盤の利用が広がるのに伴い、データエンジニアは全社横断組織化更に内部で機能別に組織化ゲーム事業データエンジニアデータアナリストA事業B事業開発エンジニア開発エンジニア・・・ データエンジニアゲーム事業ライブストリーミング事業ヘルスケア事業メディカル事業・・・C事業 開発エンジニア分散処理基盤デ｜タパイプラインツ｜ル開発クライアント環境
© DeNA Co., Ltd. 19横断部門のつらみ● 高い認知負荷○ 把握しておくべきことが事業の数に比例して増える● コンテキストスイッチ○ 事業の数に比例● コンテキストの喪失○ 「事業側から依頼されたことに対応する」という関係になりがちで、それが事業にどう価値をもたらすのかが見えづらくなる浸透期の課題データエンジニアゲーム事業ライブストリーミング事業ヘルスケア事業メディカル事業・・・
© DeNA Co., Ltd. 20データ基盤再構築に伴い、データエンジニア組織も再編● 「チームトポロジー」の考え方を活用● ビジネスの価値の流れ(ストリーム)にそってチームを配置○ ストリーム・アラインド・チーム(長いので以下、SATと略記)● SATをサポートするためのチームも配置○ テクノロジー・イネイブリング(技術支援)○ ツール開発拡散期のデータエンジニアデータエンジニアゲーム事業ライブストリーミング事業ヘルスケア事業メディカル事業・・・ツール開発ゲーム支援ライブストリーミング支援ヘルスケア&メディカル支援技術支援ストリーム・アラインド・チーム(SAT)は各事業のデータ基盤整備を支援SATを支援するチームも配置
© DeNA Co., Ltd. 21滑り出しは順調客観面● 「組織状況に関するアンケート」の結果が大幅改善○ 社員が組織に対して思ってることを、半期毎に全社でアンケートしている個人的主観面● 担当アナリストや事業側メンバとのコミュニケーションが密になり、コンテキストが把握しやすくなった● データが意思決定に活用されるナマの現場に触れる機会が増え、モチベーションも向上チームトポロジーの効果
© DeNA Co., Ltd. 22弊社の城谷によるプレゼンで、データエンジニアの組織変革の背景、考え方、進め方について詳しく語っています。詳細が気になった方はこちらもご覧下さいDeNAのデータエンジニアが語る、事業プロダクトを横断するデータドリブンな組織設計、社内データの利活用、データマネジメントとはhttps://techplay.jp/column/1626
© DeNA Co., Ltd. 2323残る課題とこれからのチャレンジ23
© DeNA Co., Ltd. 24● 横のゆるいつながりの促進● 「これ、どのチームの担当だっけ？」問題● 新しいツール・技術の活用今日は以下の３点についてお話します
© DeNA Co., Ltd. 25チームトポロジー化により、それぞれのチームの課題に集中しやすくなったしかし、横のつながりは意識的に作らないと希薄になりがち横のゆるいつながりを持つことで以下のような効果が期待できる● ノウハウの共有● 課題の共有○ 横断で取り組むべき共通課題が見えてくる以前から輪読会やコーヒーブレイク(雑談会)などは実施してきたが、今後、更に横のつながりを意識した施策を実施していくべき時期かもしれない横のゆるいつながりの促進
© DeNA Co., Ltd. 26「これ、どのチームの担当だっけ？」問題役割分担にまだ調整の余地あり● 共通的に利用しているツールがある● インフラは、IaC で金太郎飴化している都合上、集中管理したほうがよい？● 重点的に支援している事業ドメインはSAT化したが、それ以外の事業のサポートは？○ 基盤だけ利用し、データマネジメント等は事業側で自活しているケースチームトポロジーの考え方だと「プラットフォーム化せよ」となるが、プラットフォーム化すべきものと、SATで自活すべきものの見極めが必要● 有効なプラットフォームを作り上げるには優れたプロダクトマネジメントが必要● 何でもプラットフォーム化すると開発リードタイムのためにアジリティが下がる
© DeNA Co., Ltd. 27Modern Data Stack など、データエンジニアリング周りの変化はますます速い使いこなせば、分析業務の生産性向上やデータの信頼性向上等のメリットが享受できそうデータ基盤を多結晶化したおかげで、個別に最適な技術を試しやすくなった例えばこのような取り組みを進めている新しいツール・技術の活用VOC分析を支えるデータ基盤とモダンデータスタックの取り組みhttps://techcon2023.dena.dev/session/session12/
© DeNA Co., Ltd. 28まとめ
© DeNA Co., Ltd. 29多結晶型基盤そしてこれからも進化を続けて行く！データ基盤と組織を勃興期・浸透期・拡散期に合わせて進化させてきた勃興期 拡散期浸透期データ基盤データエンジニア横断組織単一事業部門内組織ゲーム事業データエンジニアデータアナリストデータエンジニア事業・・・機能組織チームトポロジー事業・・・事業支援(SAT)SAT支援共通基盤分散処理基盤の導入プロダクト環境データ基盤プロダクト環境データ基盤プロダクト環境プロダクト環境・・・プロダクト環境プロダクト環境プロダクト環境・・・・・・SAT支援?
© DeNA Co., Ltd. 30TECH PLAY Data Conference 2023ーTech組織が考えるデータエンジニアリング・データ分析基盤・データ利活用ーhttps://techplay.jp/event/892259来週 3/22(木)に、弊社でゲーム事業支援のSATに所属しているメンバーがイベントに登壇します。ご興味ある方、是非ご参加下さい！告知DeNA からは、渡辺と濱田が「ディメンショナルモデルの実導入と実装について」というタイトルでお話させていただきます
© DeNA Co., Ltd. 31We are Hiring!!!DeNAではデータ活用の課題を共に解決に導く仲間を募集しています● チームは変革期● 様々なデータ活用の課題を共に解決しませんか？DeNA データエンジニアTEAMの紹介ページにアクセス可能です↓検索はこちらQRコードはこちら
© DeNA Co., Ltd. 32
dena_tech
ouchi2501
wakamatsu_takumu
hygradme
naohachi89
chiroito
yoshiitaka
fujiwara3
palark
niftycorp
comucal
lemiorhan
jnunemaker
brianwarren
tmm1
danielanewman
panda_program
kevinliebholz
notwaldorf
vanstee
samlambert
jeffersonlam
dougneiner