データ分析の民主化・脱コンサルを支える技術

Connpass GDG Tokyo @ 2024/2/22 19:00

Transcript

1. データ分析の民主化・脱コンサルを支える技術 ゼロからデータ基盤構築、Cloud 技術の比較と運用設計
2. 本日のお話 • DataScientist時代に思ったこと • データの民主化を推進する体制 • Data Catalog について • Looker Studio VS Looker • データをどう統合するのか？ • 既存システムとの連携
3. About ME 大前七奈（X: ＠nana_0207777) Senior Consultant, EX(Energy業界DX) Unit, Technology Innovation Group, Future Architect, Inc Career： Data Scientist＠製造業/ 色んな副業(Web、GCP Engineerなど) ⇒ Data Engineer?＠エネルギ業界 お客さんの自律化を目指し、伴走支援で PoCで少しずつ作りながら、リスキリングも支援していくところ What I Like ： モノとモノ、モノと人をつなぐ技術、人を楽にする技術
4. Data Scientist時代 に思ったこと データ全体像をもっと知りたい データ品質をチェックしてほしい データの生まれ育ちを知りたい だれ？ × どうする？
5. データの民主化を推進する体制 理想ではあるが、このサイクルをうまく循環させるために どんなツールがあるのか
6. Cloud Data Catalogについて考える 利用シーン 人による操作 システムによる操作 データ分析 データの定義を調べて、適切 な前処理、分析を行う BI用の定常分析テーブル作 成 品質管理 更新がいつ、どこで行われた か把握 データ品質が基準を満たさな いとアラート発出 データガバナンス 公開禁止データを定義する 個別テーブル、カラムの閲覧 制限 データのガイドブックのようなもの、データ分析以外の視点も整理し、 各ユー ザーがほしいメタデータを特定する
7. Big Query: データ構造 データメッシュ データ階層化 データのアクセスパターン・業務フローに従って整理・整頓すると、 クエリコストも抑えられる
8. Looker Studio VS Looker Looker Studio 管理者以外は無償 コーディングスキルが不要 WINDOW関数が使えない 公開範囲ごとに別のレポート作成必 要 Looker グラフ種類が多い カスタム性が高い LookerML知識必要 費用が高い
9. データをどう統 合する？
10. 既存システムとの連携 Google Workspace（Google Drive API) Google 限定公開アクセス （Http） 使用する際に、手動で有効化する必要だが、 セキュリティがデフォルトで厳し目な設定で、必要に応じて緩めていくのが安心 サービスアカウントを使った操作は権限委任、借用など設定がややこしかった
11. 既存システムとの連携 AWS/Azureなどにある既存システム 考慮ポイント：VPN接続＋データの棲み分け VPNトンネル（Http） 領域を明確にしてOutBound最小限 ① インターネットに出るデータを少なくする ② データ保存（Single Source of Truth)はどこにするか決めることで、 データのやり取りを最小化 ③ 最終手段、Big Query Omniで遠隔に他クラウドのデータを転送せずに分析する ※去年12月オンデマンドプラン！🎉🎉🎉
12. 既存システムとの連携 Google Workspace（Google Drive API)＋ Cloud Function 処理の依存関係を整理することで、ワークフローで制御する
13. 続き、、