複数データ基盤の透明化

Data Engineering Study #11「6社のデータエンジニアが振り返る2021」
での発表資料になります。

https://forkwell.connpass.com/event/226276/

Transcript

1. 複数データ基盤の透明化
   DataEngineeringStudy#11
   株式会社リクルート
   データ推進室　山田 雄 #DataEngineeringStudy
   

   View Slide

2. Hobby & Ability ビール/日本酒/ゴルフ/トミカ/子育て
   山田　雄(Yamada Yu)
   @nii_yan
   社会人歴 20年ぐらい
   データエンジニア
   (データ基盤の開発・運用)
   AWS/GCP/BigData/Mail/Hadoop...
   

   View Slide

3. リクルートについて
   

   View Slide

4. 基盤が複数存在している状態
   

   View Slide

5. どんな人が基盤を開発してるのかもわからない
   

   View Slide

6. ・EOSL対応方針
   ・CI/CD環境
   ・次世代技術への乗り換え方針など
   各基盤にアセスメントを行ったところ、ライフサイクル管理や
   セキュリティ設定などレベルが様々
   アセスメント実施
   

   View Slide

7. 各基盤にアセスメントを行ったところ、ライフサイクル管理や
   セキュリティ設定などレベルが様々
   →いいところがどうやってるか聞いてみんな取り入れればいい
   のでは？
   TTP
   (徹底的にパクる)
   アセスメント実施
   

   View Slide

8. 横の基盤を知りたいので勉強会開始
   

   View Slide

9. 6月から始めて、ほぼ毎月違う基盤を紹介する形で開催
   参加人数のべ298人
   株式会社リクルートだけではなく、グループ会社の基盤も紹介
   勉強会開催実績
   

   View Slide

10. ● 複数基盤のアーキテクチャがドキュメント化され誰でもすぐ
    に参照出来るように
    ○ アーキテクチャ検討を一からしなくてもよい
    ● ソースコードレベルでの交流
    ○ 良いアーキテクチャのソースを共有して貰える
    ● 誰がどの基盤を担当しているかがわかるように
    ○ 相談先の明確化
    良かったこと
    

    View Slide

11. ● コミュニティの作成
    ○ 人材交流を増やしたい
    ● サイロの論理的な解消
    ○ 物理的にはデータを集められないので
    ● 資料の継続的なアップデート
    今後の展望
    

    View Slide

12. ● BQ Update勉強会
    ○ BQのreleaseノートにかかれているすべてのupdate内容を
    毎月社内で共有 & BQ Tipsや社内事例なども一緒に共有
    ※社外に発表出来る内容はブログとして毎月載せています
    イクジニアブログ
    その他の取り組み
    

    View Slide

13. ● datatech-jpの立ち上げ
    輪読会から派生したコミュニティ。
    データ基盤の構築やデータ活用の促進など相談出来るコミュニ
    ティ(にしたい)
    社外での取り組み
    

    View Slide