マイナビの全社データ基盤のモダナイズ／Developers-Summit-2024-Mynavi

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

copyright ©️ mynavi corporation. 3 01.マイナビについてマイナビは株式会社毎日コミュニケーションズとして1973年8月15日に誕生。 2011年に現在の社名に変更し、2023年に50周年を迎えました。新聞の発行・出版業、絵画の輸入販売業を目的としたスタートした企業が、現在では多様な事業を行うグローバル企業へ発展しました。 50年の歴史で培ったノウハウ 1973年8月15日新聞の発行及び出版業、絵画・美術品の輸入販売業等を目的として設立 1980年代就職情報誌発刊一般書店での書籍販売開始中国との交流事業等 1990年代 PC系雑誌創刊就職情報企画がインターネット企画へ発展 2000年代職業紹介事業、転職、アルバイト情報事業等多様な人材領域へ進出 2010年代社名を（株）マイナビへ。人材以外の情報メディア事業に進出。積極的なM&Aでグループを拡大。 2020年代東アジアを中心とした企業の M＆Aを進める。グローバル企業へ 50年の変遷の中で培ったノウハウは他社にない大きな強みです。

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

copyright ©️ mynavi corporation. 6 02.デジタルテクノロジー戦略本部について Mission 組織が果たすべき使命・存在意義組織の理想像、中長期的な目標 Vision Value 行動指針 1人ひとりが常にチャレンジし、既存の枠組を超え、新たなイノベーションを生み出す Drive Digital Innovation 1. DCPA 2. ALL FOR ONE 3. 一歩先の未来へ 4. 変化に対して柔軟に 5. アイデア／意見を尊重

Slide 8

Slide 8 text

copyright ©️ mynavi corporation. 7 02.デジタルテクノロジー戦略本部について管理本部経営企画各事業部・各グループ会社各セグメント新規事業開発室経営層デジタル領域の新規事業の創出人事マイナビグループデジタル戦略の立案既存事業の変革業務改革の推進セキュリティ強化インフラデザインの改定 DX人材育成制度構築公募の促進グループ戦略立案・実行デジタルテクノロジー戦略本部デジタル戦略立案・実行新規事業戦略立案新規事業の横展開サイロ解消横串の業務改革の推進経営企画予算・全社方針投資関連重複投資削減 R＆D予算確保セグメント戦略立案・実行事業戦略立案・実行

Slide 9

Slide 9 text

copyright ©️ mynavi corporation. 8 02.デジタルテクノロジー戦略本部について共通部門デジタルテクノロジー戦略本部ネットワーク・PC環境/社内基盤全社利用アプリケーションデータ利活用/データ基盤データガバナンス/AI 内製開発（アプリ、インフラ、クラウド） ERP/CRM・SFA/RPA含めた業務改善ナビサービスサイト/周辺システムセキュリティ、ガバナンス教育、組織活性/EX推進サービスサイト運営/プロモーション ① IT企画推進領域 ② コーポレートIT領域 ③ データソリューション領域 ④ エンジニアリング領域 ⑤ オペレーションデザイン領域 ⑥ ビジネスイノベーション領域 ⑦ CXマーケティング領域業務オペレーション

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

copyright ©️ mynavi corporation. 13 03.全社データ基盤のモダナイズについて収集加工蓄積検索活用 • 仕組みを作るのに時間がかかる（エンジニアでないと対応できない） • 維持にコストがかかる（エンジニアの対応が必要） • スピードが出ない（複雑なクエリで混む） • どこに何があるかわからない（エンジニアが探したり情報提供の必要がある） • データの更新が難しい • 関数でミスが発生する • 何度もグラフを作り直しで再利用性がない

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

copyright ©️ mynavi corporation. 19 オンプレデータマートデータ連携データマート BIツールデータプレパレーションツール他システム SQL Server Windows バッチ Paxata tableau ＋ Systemwalker Operation Manager データ基盤 SQL Server 03.全社データ基盤のモダナイズについて処理スピードが遅い開発できるエンジニアの確保が難しい SSIS（ETL）が SQLServerに依存で技術の見直しが困難バージョン管理ができていない VMでスペック割り当て管理が大変スペック増強が難しい（物理的に）ディスクサイズ節約でデータ長ケチって取得元のデータ長が変わるたび修正スペック気にしてユーザーが気軽に増やせないユーザーの利用予測が難しくディスクサイズが足りなくなる 6年前のスペックで表示が遅い

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

copyright ©️ mynavi corporation. 22 オンプレデータマートデータ連携データレイクデータ連携データマート BIツールデータプレパレーションツール他システム SQL Server シェルスクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについて

Slide 24

Slide 24 text

copyright ©️ mynavi corporation. 23 オンプレデータマートデータ連携データレイクデータ連携データマート BIツールデータプレパレーションツール他システム SQL Server シェルスクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについてデータ連携シェルスクリプト＋ Windowsから Linuxへ

Slide 25

Slide 25 text

copyright ©️ mynavi corporation. 24 オンプレデータマートデータ連携データレイクデータ連携データマート BIツールデータプレパレーションツール他システム SQL Server シェルスクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについてデータ連携シェルスクリプト＋依存の解消

Slide 26

Slide 26 text

copyright ©️ mynavi corporation. 25 オンプレデータマートデータ連携データレイクデータ連携データマート BIツールデータプレパレーションツール他システム SQL Server シェルスクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについてデータ連携 MWAA Airflow ＋サーバレス並列化 Python

Slide 27

Slide 27 text

copyright ©️ mynavi corporation. 26 オンプレデータマートデータ連携データレイクデータ連携データマート BIツールデータプレパレーションツール他システム SQL Server シェルスクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについてデータレイク Amazon S3 メンテ少なく済むスケーラビリティ確保 Snowflakeのステージとしてログ分析にも

Slide 28

Slide 28 text

copyright ©️ mynavi corporation. 27 オンプレデータマートデータ連携データレイクデータ連携データマート BIツールデータプレパレーションツール他システム SQL Server シェルスクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについてデータマート snowflake 利用時のみ即時立ち上げでコスト減 WHの分離による負荷分散スケーラビリティの確保 SaaS

Slide 29

Slide 29 text

copyright ©️ mynavi corporation. 28 オンプレデータマートデータ連携データレイクデータ連携データマート BIツールデータプレパレーションツール他システム SQL Server シェルスクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについてデータ連携レビュー体制バージョン管理

Slide 30

Slide 30 text

Slide 31

Slide 31 text

copyright ©️ mynavi corporation. 30 03.全社データ基盤のモダナイズについて 1. TCOを考える（なるべく費用が抑えられる方向に） 2. 仕様変更がある場合事業部ユーザーが対応できるか 3. 人材が多く確保できる言語・技術 4. チーム全体で運用・保守できるもの（疲弊しないように） 5. 他の組織との連携を考える組織 1. 要件を満たせるか（既存の利用・運用維持が最低限） 2. 5年先を考えた時に大きな改修・廃止が発生しなさそうか 3. ベンダーロックインされにくいか技術

Slide 32

Slide 32 text

Slide 33

Slide 33 text

copyright ©️ mynavi corporation. 32 03.全社データ基盤のモダナイズについて • 非機能要件が満たせなければオンプレ更改も視野に入れていたため、社内の調整と許容範囲内に収めることができるか優先 • OS変更やアップデートでコンテンツ移行がうまくいくか • データを想定通りデータマートまで流せるか • 各処理で同じデータが流せるか、既存の年次切替などのオペレーションが実現できるか • コンテンツが今まで通り使えるか確認ポイント 4~5 2023.1~3 10~12 7~9 4~6 2022.1~3 移行先環境構築・バージョンアップ検証一部処理PoC・懸念点対応検討コンテンツ移行環境移行並行稼働残処理開発非機能要件事前検証社内調整

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

copyright ©️ mynavi corporation. 36 03.全社データ基盤のモダナイズについて反省点 1. 技術選定時に把握しきれなかった仕様があった・Snowflakeのクエリ長やリスト数の制限 ⇒クエリ長制限はBIのフィルターで起きたためフィルター順序の早いデータソースフィルターなど上位のものでデータ量を抑えたり、計算フィールドで真偽値に置き換えたり、そもそも不要なフィルターを削減した ※snowflake.account_usage.query_historyから実施SQLが見れたのは助かった・MWAAのタスクオートスケーリングのバグでゾンビタスク（実行されるはずであるが実行されていないタスク）が発生する ⇒スケールしなくて済むように設定してオートスケーリングを無効化 2. ユーザー部門との調整時間の見積もりが甘かった・通常業務を行いながら協力してくれているのでなかなか時間が取れない ⇒4000件以上のダッシュボード・プロジェクトフローがあり、詳細なドキュメントの作成や、個別の説明、作業巻き取りでカバーした。しっかりと期間を確保することが重要 3. 他部署担当機能の仕様理解不足・例えばAD認証だが、Snowflake利用に伴い、AzureADを利用することになったが、プライベートリンクでは社内のルールの都合もあり利用ができなかった ⇒接続の経路を詳細に連携し意見を求めるべきだった

Slide 38

Slide 38 text

Slide 39

Slide 39 text

copyright ©️ mynavi corporation. 38 1. データ活用それぞれのフェーズに課題があり対応するソリューションがある 2. データ活用それぞれのフェーズでエンジニアの負担が大きい 3. マイナビでは技術刷新で、エンジニアの負荷軽減と採用しやすい体制作りに取り組んでいる 4. 技術選定では組織的な観点、技術的な観点が必要 5.プロジェクトを進める上では、落としてはならないところを確認し、段階を踏むことが大切 03.全社データ基盤のモダナイズについてまとめ