Upgrade to Pro — share decks privately, control downloads, hide ads and more …

複数データ基盤の透明化

yu-yamada
December 13, 2021

 複数データ基盤の透明化

Data Engineering Study #11「6社のデータエンジニアが振り返る2021」
での発表資料になります。

https://forkwell.connpass.com/event/226276/

yu-yamada

December 13, 2021
Tweet

More Decks by yu-yamada

Other Decks in Technology

Transcript

  1. 複数データ基盤の透明化
    DataEngineeringStudy#11
    株式会社リクルート
    データ推進室 山田 雄 #DataEngineeringStudy

    View Slide

  2. Hobby & Ability ビール/日本酒/ゴルフ/トミカ/子育て
    山田 雄(Yamada Yu)
    @nii_yan
    社会人歴 20年ぐらい
    データエンジニア
    (データ基盤の開発・運用)
    AWS/GCP/BigData/Mail/Hadoop...

    View Slide

  3. リクルートについて

    View Slide

  4. 基盤が複数存在している状態

    View Slide

  5. どんな人が基盤を開発してるのかもわからない

    View Slide

  6. ・EOSL対応方針
    ・CI/CD環境
    ・次世代技術への乗り換え方針など
    各基盤にアセスメントを行ったところ、ライフサイクル管理や
    セキュリティ設定などレベルが様々
    アセスメント実施

    View Slide

  7. 各基盤にアセスメントを行ったところ、ライフサイクル管理や
    セキュリティ設定などレベルが様々
    →いいところがどうやってるか聞いてみんな取り入れればいい
    のでは?
    TTP
    (徹底的にパクる)
    アセスメント実施

    View Slide

  8. 横の基盤を知りたいので勉強会開始

    View Slide

  9. 6月から始めて、ほぼ毎月違う基盤を紹介する形で開催
    参加人数のべ298人
    株式会社リクルートだけではなく、グループ会社の基盤も紹介
    勉強会開催実績

    View Slide

  10. ● 複数基盤のアーキテクチャがドキュメント化され誰でもすぐ
    に参照出来るように
    ○ アーキテクチャ検討を一からしなくてもよい
    ● ソースコードレベルでの交流
    ○ 良いアーキテクチャのソースを共有して貰える
    ● 誰がどの基盤を担当しているかがわかるように
    ○ 相談先の明確化
    良かったこと

    View Slide

  11. ● コミュニティの作成
    ○ 人材交流を増やしたい
    ● サイロの論理的な解消
    ○ 物理的にはデータを集められないので
    ● 資料の継続的なアップデート
    今後の展望

    View Slide

  12. ● BQ Update勉強会
    ○ BQのreleaseノートにかかれているすべてのupdate内容を
    毎月社内で共有 & BQ Tipsや社内事例なども一緒に共有
    ※社外に発表出来る内容はブログとして毎月載せています
    イクジニアブログ
    その他の取り組み

    View Slide

  13. ● datatech-jpの立ち上げ
    輪読会から派生したコミュニティ。
    データ基盤の構築やデータ活用の促進など相談出来るコミュニ
    ティ(にしたい)
    社外での取り組み

    View Slide