Snowflake 第1回金融ユーザー会

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2015 - 2024 Nowcast Inc. 3 1. 自己紹介・会社紹介・現在のSnowflakeの活用状況 ● 名前：大野巧作 ○ 大体けびんと呼ばれています ○ X(旧Twitter) は @Kevinrobot34 ● 役職：Data Engineer / Data Platform Engineer @ Nowcast ○ POSデータのパイプライン作成・運用 ○ Snowflake x dbt x terraform な社内データ基盤構築・運用 ○ 2020年卒の社会人５年目です ● 最近興味のある技術 ○ Apache Iceberg 自己紹介会社のメンバーでSnowflake Summit に行った時の写真→

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2015 - 2024 Nowcast Inc. 5 1. 自己紹介・会社紹介・現在のSnowﬂakeの活用状況金融領域におけるデータエンジニアリングとシステム開発に強み 1 2 データエンジニアリング/生成AIの専門性 2015年の創業以来POS、クレカ、位置情報、求人データ、ポイントカードなど様々なデータの基盤を構築し、プロダクトを運用する中で、データ分析やデータエンジニアリングの知見を蓄積。今年から生成AIの研究組織も組成。資産運用領域における知見既存プロダクトの顧客の大半が国内外の機関投資家。社内には株式分析のアナリストチームも存在。親会社のFinatext HDは証券サービスの基幹システムを提供。知見を活かしたシステム開発提案が可能。 3 ミッションクリティカルなシステムの開発実績 Finatext HDは証券サービスの基幹システム、デジタル保険の基幹システム、大手銀行の ID基盤など、様々なミッションクリティカルなシステムを運用。業務に関連するシステム開発ではグループ間で連携を行い高品質な開発を実現。自社プロダクト開発のデータエンジニアリングの知見を踏まえ、お客様のデータ基盤構築や生成AI活用などを支援するソリューション事業も展開しております。

Slide 6

Slide 6 text

© 2015 - 2024 Nowcast Inc. 6 1. 自己紹介・会社紹介・現在のSnowflakeの活用状況 Snowflake の利活用状況① Snowflakeを中心としたデータ基盤で自社プロダクト構築 ● Snowflake のリソース管理 ○ table / view → dbt ○ udf / proc / SiS→ Snowflake CLI ○ それ以外 → Terraform ● Airflow から ECS task を呼び dbt build を定期実行自社プロダクトの知見を活かしソリューション事業以下の支援を実施している ● データ分析基盤構築支援 ● 溜まったデータと生成AIを組み合わせて活用する支援

Slide 7

Slide 7 text

© 2015 - 2024 Nowcast Inc. 7 1. 自己紹介・会社紹介・現在のSnowflakeの活用状況 ● truestar社のPODBなど、 Marketplace のデータの活用 ● Private Sharing を利用した顧客へのSnowflakeを利用したデータ伝送 ○ リージョンやクラウドを跨いだshareをするための仕組みを構築済み ○ Listing の機能を使うとこの辺りをもっとSnowflakeに任せられるかも Snowflake の利活用状況②

Slide 8

Slide 8 text

© 2015 - 2024 Nowcast Inc. 8 2. Summit 参加の経緯 ● CTO田島が海外カンファレンスへの参加を推奨していた ○ 実際、2023年にはCTO含む３名でAWSのre:Inventに参加していた ○ 2023年から「来年は自分が Snowflake Summit 行きたいです！」と声をあげていた ● 以下の目的で参加 ○ Snowflake の新機能の情報集めや、世界中の事例を聞く ○ Snowflake Summit 中での交流イベントに参加する ■ 実際にはサミット前後にもたくさんイベントがあり交流が凄く捗った！！ Summit参加の経緯

Slide 9

Slide 9 text

© 2015 - 2024 Nowcast Inc. 9 3. Summit 発表の注目機能・注目セッション ● Apache Iceberg は大規模な分析データ向けの Open Table Format ○ 新しい形式の外部テーブルというイメージ ○ データとメタデータの扱い方が特徴的（右図） ● Snowﬂake でも裏で Apache Iceberg を利用したテーブルが作れるようになった ● REST API で実装されたカタログである Polaris Catalog が発表され、オープンソース化されることも発表された Iceberg Table https://iceberg.apache.org/spec/ より https://www.snowﬂake.com/blog/introducing-polaris-catalog/ より

Slide 10

Slide 10 text

© 2015 - 2024 Nowcast Inc. 10 3. Summit 発表の注目機能・注目セッション ● Summit 中にテックブログ書いたりしました！（右下） ● SnowVillage で活発に情報共有が進んでます！ ○ #iceberg チャンネルにぜひご参加ください！ ○ #iceberg-the-deﬁnitive-guide にて Iceberg の勉強会も実施中です！ ■ 資料も公開されてます！（左下） Iceberg Table

Slide 11

Slide 11 text

© 2015 - 2024 Nowcast Inc. 11 3. Summit 発表の注目機能・注目セッション ● Cortex Search / Cortex Analyst などにより、Snowflake上で生成AIを利用するハードルが大きく下がる印象 ● Cortex Search は使いやすい UI でサクッと検証できそう。今後Snowflakeに貯めたデータと生成AIを組み合わせていく活動が活発になりそうな予感 Snowflake Cortex AI YouTube - Demo: Build A RAG Application With Snowflake Cortex Search | Summit 2024 より https://www.snowflake.com/en/data-cloud/cortex/ より

Slide 12

Slide 12 text

© 2015 - 2024 Nowcast Inc. 12 3. Summit 発表の注目機能・注目セッションセキュリティを担保するための機能が充実してきている印象 ● Trust Center ○ CIS Benchmark などに沿って自社のSnowflakeの設定をチェックしてくれる機能 ● Authentication Policy ○ Snowflake への認証方法を制御するためのポリシーこれら以外にも着々と便利な機能が増えてきているセキュリティ系の機能 YouTube - Snowflake Horizon Demo: Trust Center より

Slide 13

Slide 13 text

© 2015 - 2024 Nowcast Inc. 13 3. Summit 発表の注目機能・注目セッション BlackRock におけるセキュリティの設定について共有されたセッション。多層防御の観点からやるべきことをしっかりやりきっている印象だった。 ● ネットワークセキュリティ ○ PrivateLink の利用や、ネットワークポリシーによるIP制限 ● 認証・認可周り ○ SSOによる認証、RSAキーでの認証、MFAの強制 ○ Read-only / Read-Write / Owner などロールを適切に用意 ○ 行アクセスポリシー、データマスキングポリシーの設定 ● 監視や監査 ○ ログイン履歴やクエリ履歴を分析し、異常を検知このセッションだけでなく金融系の様々な事例を聞いた感想 ● 世界で一番大きいSnowﬂakeのお客さんの業界は金融だが、日本では一番小さい業界が金融とのこと ● このセッションのように世界の金融業界での多くの事例が先進的で勉強になった ● 日本の金融業界における Snowﬂake 活用をもっと広げていきたい！ BlackRock's Security Best Practices for Building Data Applications