複数データ基盤の透明化

Data Engineering Study #11「6社のデータエンジニアが振り返る2021」
での発表資料になります。

https://forkwell.connpass.com/event/226276/

Transcript

1. 複数データ基盤の透明化 DataEngineeringStudy#11 株式会社リクルート データ推進室　山田 雄 #DataEngineeringStudy
2. Hobby & Ability ビール/日本酒/ゴルフ/トミカ/子育て 山田　雄(Yamada Yu) @nii_yan 社会人歴 20年ぐらい データエンジニア (データ基盤の開発・運用) AWS/GCP/BigData/Mail/Hadoop...
3. リクルートについて
4. 基盤が複数存在している状態
5. どんな人が基盤を開発してるのかもわからない
6. ・EOSL対応方針 ・CI/CD環境 ・次世代技術への乗り換え方針など 各基盤にアセスメントを行ったところ、ライフサイクル管理や セキュリティ設定などレベルが様々 アセスメント実施
7. 各基盤にアセスメントを行ったところ、ライフサイクル管理や セキュリティ設定などレベルが様々 →いいところがどうやってるか聞いてみんな取り入れればいい のでは？ TTP (徹底的にパクる) アセスメント実施
8. 横の基盤を知りたいので勉強会開始
9. 6月から始めて、ほぼ毎月違う基盤を紹介する形で開催 参加人数のべ298人 株式会社リクルートだけではなく、グループ会社の基盤も紹介 勉強会開催実績
10. • 複数基盤のアーキテクチャがドキュメント化され誰でもすぐ に参照出来るように ◦ アーキテクチャ検討を一からしなくてもよい • ソースコードレベルでの交流 ◦ 良いアーキテクチャのソースを共有して貰える • 誰がどの基盤を担当しているかがわかるように ◦ 相談先の明確化 良かったこと
11. • コミュニティの作成 ◦ 人材交流を増やしたい • サイロの論理的な解消 ◦ 物理的にはデータを集められないので • 資料の継続的なアップデート 今後の展望
12. • BQ Update勉強会 ◦ BQのreleaseノートにかかれているすべてのupdate内容を 毎月社内で共有 & BQ Tipsや社内事例なども一緒に共有 ※社外に発表出来る内容はブログとして毎月載せています イクジニアブログ その他の取り組み
13. • datatech-jpの立ち上げ 輪読会から派生したコミュニティ。 データ基盤の構築やデータ活用の促進など相談出来るコミュニ ティ(にしたい) 社外での取り組み