Upgrade to Pro — share decks privately, control downloads, hide ads and more …

複数データ基盤の透明化

A84b3c763c9c543069b7c02551e2720e?s=47 yu-yamada
December 13, 2021

 複数データ基盤の透明化

Data Engineering Study #11「6社のデータエンジニアが振り返る2021」
での発表資料になります。

https://forkwell.connpass.com/event/226276/

A84b3c763c9c543069b7c02551e2720e?s=128

yu-yamada

December 13, 2021
Tweet

More Decks by yu-yamada

Other Decks in Technology

Transcript

  1. 複数データ基盤の透明化 DataEngineeringStudy#11 株式会社リクルート データ推進室 山田 雄 #DataEngineeringStudy

  2. Hobby & Ability ビール/日本酒/ゴルフ/トミカ/子育て 山田 雄(Yamada Yu) @nii_yan 社会人歴 20年ぐらい データエンジニア

    (データ基盤の開発・運用) AWS/GCP/BigData/Mail/Hadoop...
  3. リクルートについて

  4. 基盤が複数存在している状態

  5. どんな人が基盤を開発してるのかもわからない

  6. ・EOSL対応方針 ・CI/CD環境 ・次世代技術への乗り換え方針など 各基盤にアセスメントを行ったところ、ライフサイクル管理や セキュリティ設定などレベルが様々 アセスメント実施

  7. 各基盤にアセスメントを行ったところ、ライフサイクル管理や セキュリティ設定などレベルが様々 →いいところがどうやってるか聞いてみんな取り入れればいい のでは? TTP (徹底的にパクる) アセスメント実施

  8. 横の基盤を知りたいので勉強会開始

  9. 6月から始めて、ほぼ毎月違う基盤を紹介する形で開催 参加人数のべ298人 株式会社リクルートだけではなく、グループ会社の基盤も紹介 勉強会開催実績

  10. • 複数基盤のアーキテクチャがドキュメント化され誰でもすぐ に参照出来るように ◦ アーキテクチャ検討を一からしなくてもよい • ソースコードレベルでの交流 ◦ 良いアーキテクチャのソースを共有して貰える •

    誰がどの基盤を担当しているかがわかるように ◦ 相談先の明確化 良かったこと
  11. • コミュニティの作成 ◦ 人材交流を増やしたい • サイロの論理的な解消 ◦ 物理的にはデータを集められないので • 資料の継続的なアップデート

    今後の展望
  12. • BQ Update勉強会 ◦ BQのreleaseノートにかかれているすべてのupdate内容を 毎月社内で共有 & BQ Tipsや社内事例なども一緒に共有 ※社外に発表出来る内容はブログとして毎月載せています

    イクジニアブログ その他の取り組み
  13. • datatech-jpの立ち上げ 輪読会から派生したコミュニティ。 データ基盤の構築やデータ活用の促進など相談出来るコミュニ ティ(にしたい) 社外での取り組み