Data Engineering Study #11「6社のデータエンジニアが振り返る2021」 での発表資料になります。
https://forkwell.connpass.com/event/226276/
複数データ基盤の透明化DataEngineeringStudy#11株式会社リクルートデータ推進室 山田 雄 #DataEngineeringStudy
View Slide
Hobby & Ability ビール/日本酒/ゴルフ/トミカ/子育て山田 雄(Yamada Yu)@nii_yan社会人歴 20年ぐらいデータエンジニア(データ基盤の開発・運用)AWS/GCP/BigData/Mail/Hadoop...
リクルートについて
基盤が複数存在している状態
どんな人が基盤を開発してるのかもわからない
・EOSL対応方針・CI/CD環境・次世代技術への乗り換え方針など各基盤にアセスメントを行ったところ、ライフサイクル管理やセキュリティ設定などレベルが様々アセスメント実施
各基盤にアセスメントを行ったところ、ライフサイクル管理やセキュリティ設定などレベルが様々→いいところがどうやってるか聞いてみんな取り入れればいいのでは?TTP(徹底的にパクる)アセスメント実施
横の基盤を知りたいので勉強会開始
6月から始めて、ほぼ毎月違う基盤を紹介する形で開催参加人数のべ298人株式会社リクルートだけではなく、グループ会社の基盤も紹介勉強会開催実績
● 複数基盤のアーキテクチャがドキュメント化され誰でもすぐに参照出来るように○ アーキテクチャ検討を一からしなくてもよい● ソースコードレベルでの交流○ 良いアーキテクチャのソースを共有して貰える● 誰がどの基盤を担当しているかがわかるように○ 相談先の明確化良かったこと
● コミュニティの作成○ 人材交流を増やしたい● サイロの論理的な解消○ 物理的にはデータを集められないので● 資料の継続的なアップデート今後の展望
● BQ Update勉強会○ BQのreleaseノートにかかれているすべてのupdate内容を毎月社内で共有 & BQ Tipsや社内事例なども一緒に共有※社外に発表出来る内容はブログとして毎月載せていますイクジニアブログその他の取り組み
● datatech-jpの立ち上げ輪読会から派生したコミュニティ。データ基盤の構築やデータ活用の促進など相談出来るコミュニティ(にしたい)社外での取り組み