Snowflake 第1回 金融ユーザー会

7/18 に開催された Snowflake 第1回 金融ユーザー会における
「LT: Snowflake Data Cloud Summit 2024 現地レポート」で使用した資料です。
https://www.snowflake.com/events/snowflake-recap-fsi/

Transcript

1. © 2015 - 2024 Nowcast Inc. Data Cloud Summit 2024 現地レポート 2024/7/18 株式会社ナウキャスト 大野巧作　@Kevinrobot34 Snowflake 第１回 金融ユーザー会 1
2. © 2015 - 2024 Nowcast Inc. アジェンダ / 本日のゴール アジェンダ 1. 自己紹介・会社紹介・現在のSnowflakeの活用状況 2. Summit 参加の経緯 3. Summit 発表の注目機能・注目セッション 2
3. © 2015 - 2024 Nowcast Inc. 3 1. 自己紹介・会社紹介・現在のSnowflakeの活用状況 • 名前：大野巧作 ◦ 大体けびんと呼ばれています ◦ X(旧Twitter) は @Kevinrobot34 • 役職：Data Engineer / Data Platform Engineer @ Nowcast ◦ POSデータのパイプライン作成・運用 ◦ Snowflake x dbt x terraform な社内データ基盤構築・運用 ◦ 2020年卒の社会人５年目です • 最近興味のある技術 ◦ Apache Iceberg 自己紹介 会社のメンバーでSnowflake Summit に行った時の写真→
4. © 2015 - 2024 Nowcast Inc. 4 1. 自己紹介・会社紹介・現在のSnowflakeの活用状況 会社紹介 ナウキャストはデータの保有側・利用側の双方に価値を提供するオルタナティブデータの Two-Sided Platform を展開します。この自社データプロダクトの多くは Snowflake 上で開発されております。
5. © 2015 - 2024 Nowcast Inc. 5 1. 自己紹介・会社紹介・現在のSnowflakeの活用状況 金融領域におけるデータエンジニアリングとシステム開発に強み 1 2 データエンジニアリング/生成AIの専門性 2015年の創業以来POS、クレカ、位置情報、求人データ、ポイントカードなど様々なデー タの基盤を構築し、プロダクトを運用する中で、データ分析やデータエンジニアリングの 知見を蓄積。今年から生成AIの研究組織も組成。 資産運用領域における知見 既存プロダクトの顧客の大半が国内外の機関投資家。社内には株式分析のアナリストチー ムも存在。親会社のFinatext HDは証券サービスの基幹システムを提供。知見を活かした システム開発提案が可能。 3 ミッションクリティカルなシステムの開発実績 Finatext HDは証券サービスの基幹システム、デジタル保険の基幹システム、大手銀行の ID基盤など、様々なミッションクリティカルなシステムを運用。業務に関連するシステム 開発ではグループ間で連携を行い高品質な開発を実現。 自社プロダクト開発のデータエンジニアリングの知見を踏まえ、お客様のデータ基盤構築や生成AI活用などを 支援するソリューション事業も展開しております。
6. © 2015 - 2024 Nowcast Inc. 6 1. 自己紹介・会社紹介・現在のSnowflakeの活用状況 Snowflake の利活用状況① Snowflakeを中心としたデータ基盤で自社プロダクト構築 • Snowflake のリソース管理 ◦ table / view → dbt ◦ udf / proc / SiS→ Snowflake CLI ◦ それ以外 → Terraform • Airflow から ECS task を呼び dbt build を定期実行 自社プロダクトの知見を活かしソリューション事業 以下の支援を実施している • データ分析基盤構築支援 • 溜まったデータと生成AIを組み合わせて活用する支援
7. © 2015 - 2024 Nowcast Inc. 7 1. 自己紹介・会社紹介・現在のSnowflakeの活用状況 • truestar社のPODBなど、 Marketplace のデータの活用 • Private Sharing を利用した顧客へのSnowflakeを利用したデータ伝送 ◦ リージョンやクラウドを跨いだshareをするための仕組みを構築済み ◦ Listing の機能を使うとこの辺りをもっとSnowflakeに任せられるかも Snowflake の利活用状況②
8. © 2015 - 2024 Nowcast Inc. 8 2. Summit 参加の経緯 • CTO田島が海外カンファレンスへの参加を推奨していた ◦ 実際、2023年にはCTO含む３名でAWSのre:Inventに参加していた ◦ 2023年から「来年は自分が Snowflake Summit 行きたいです！」と声をあげていた • 以下の目的で参加 ◦ Snowflake の新機能の情報集めや、世界中の事例を聞く ◦ Snowflake Summit 中での交流イベントに参加する ▪ 実際にはサミット前後にもたくさんイベントがあり交流が凄く捗った！！ Summit参加の経緯
9. © 2015 - 2024 Nowcast Inc. 9 3. Summit 発表の注目機能・注目セッション • Apache Iceberg は大規模な分析データ向けの Open Table Format ◦ 新しい形式の外部テーブルというイメージ ◦ データとメタデータの扱い方が特徴的（右図） • Snowflake でも裏で Apache Iceberg を利用したテーブルが 作れるようになった • REST API で実装されたカタログである Polaris Catalog が 発表され、オープンソース化されることも発表された Iceberg Table https://iceberg.apache.org/spec/ より https://www.snowflake.com/blog/introducing-polaris-catalog/ より
10. © 2015 - 2024 Nowcast Inc. 10 3. Summit 発表の注目機能・注目セッション • Summit 中にテックブログ書いたりしました！（右下） • SnowVillage で活発に情報共有が進んでます！ ◦ #iceberg チャンネルにぜひご参加ください！ ◦ #iceberg-the-definitive-guide にて Iceberg の勉強会も実施中です！ ▪ 資料も公開されてます！（左下） Iceberg Table
11. © 2015 - 2024 Nowcast Inc. 11 3. Summit 発表の注目機能・注目セッション • Cortex Search / Cortex Analyst などにより、Snowflake上で生成AIを利用するハードルが大きく下がる印象 • Cortex Search は使いやすい UI でサクッと検証できそう。 今後Snowflakeに貯めたデータと生成AIを組み合わせていく活動が活発になりそうな予感 Snowflake Cortex AI YouTube - Demo: Build A RAG Application With Snowflake Cortex Search | Summit 2024 より https://www.snowflake.com/en/data-cloud/cortex/ より
12. © 2015 - 2024 Nowcast Inc. 12 3. Summit 発表の注目機能・注目セッション セキュリティを担保するための機能が 充実してきている印象 • Trust Center ◦ CIS Benchmark などに沿って 自社のSnowflakeの設定をチェック してくれる機能 • Authentication Policy ◦ Snowflake への認証方法を 制御するためのポリシー これら以外にも着々と便利な機能が 増えてきている セキュリティ系の機能 YouTube - Snowflake Horizon Demo: Trust Center より
13. © 2015 - 2024 Nowcast Inc. 13 3. Summit 発表の注目機能・注目セッション BlackRock におけるセキュリティの設定について共有されたセッション。 多層防御の観点からやるべきことをしっかりやりきっている印象だった。 • ネットワークセキュリティ ◦ PrivateLink の利用や、ネットワークポリシーによるIP制限 • 認証・認可周り ◦ SSOによる認証、RSAキーでの認証、MFAの強制 ◦ Read-only / Read-Write / Owner などロールを適切に用意 ◦ 行アクセスポリシー、データマスキングポリシーの設定 • 監視や監査 ◦ ログイン履歴やクエリ履歴を分析し、異常を検知 このセッションだけでなく金融系の様々な事例を聞いた感想 • 世界で一番大きいSnowflakeのお客さんの業界は金融だが、日本では一番小さい業界が金融とのこと • このセッションのように世界の金融業界での多くの事例が先進的で勉強になった • 日本の金融業界における Snowflake 活用をもっと広げていきたい！ BlackRock's Security Best Practices for Building Data Applications
14. © 2015 - 2024 Nowcast Inc. 14 Appendix Snowflake Summit 関連の発信
15. © 2015 - 2024 Nowcast Inc. 15 Appendix Snowflake に関するテックブログも執筆中！ テックブログのURL ↓ / QRコード → https://techblog.finatext.com/