20周年を迎えたAmebaでのデータチームの挑戦: モノリスなデータ基盤における論理的データメッシュの構築 / ameba-mesh-gemini

今年20周年を迎えるAmebaにはブログを始めとした数多くのサービスが存在しています。そんなAmebaのデータ基盤において、データ利活用を進めるためにはサービスごとに自律したデータ管理と全体で統制されたデータガバナンスやデータ連携を高度に両立する必要があります。これを実現するために、あえてモノリスなデータ基盤を選択し、その上で「論理的なデータメッシュ」を構築するという形を目指しました。このデータ基盤を構築するためのDataplexを用いた権限管理の設計と具体的な実装、さらに運用における自動化についても解説します。また将来的なデータ利活用の可能性を広げるため、Geminiを利用したクエリ生成の検証結果と今後の方向性についても触れます。

https://cadc.cyberagent.co.jp/2024/sessions/ameba-mesh-gemini/

Transcript