Cortex Analystでデータ分析の民主化に挑む

Cortex Analystでデータ分析の民主化に挑む Yusuke Hayashi Yusuke Hayashi

Cortex Analystとはユースケース：POSデータを使ったデータ分析おまけ：ネイティブアプリで実装する場合おわりにアジェンダ Yusuke Hayashi 2

林佑亮（Hayashi Yusuke）マーケティングリサーチの会社でデータサイエンティスト、データエンジニアとして働く最近はLLMの活用や社内分析環境構築に従事自己紹介 Yusuke
Hayashi 3

Cortex Analystとは Cortex Analystとはユースケース：POSデータを使ったデータ分析おまけ：ネイティブアプリで実装する場合おわりに Yusuke Hayashi 4

Snowflakeの生成AI系のサービスの一つ Text to SQL：ユーザーが自然言語で Snowflake内の構造化データに対して質問すると内部でSQLクエリが実行され、集計された結果が返ってくる REST APIとして提供：Streamlit、
Skackなど既存のツールやプラットフォームと統合できる Cortex Analyst Yusuke Hayashi 参考：https://www.snowflake.com/ja/product/features/cortex/ 5

フルマネージドなText to SQLサービス使用モデル：Mistral Large, Llama3 オプションでAzure OpenAIのアクセス許可も可能今後はClaude 3.5
Sonnetが使われるという話も（https://www.snowflake.com/ja/blog/ai-data-agents-snowflake-cortex/） Snowflakeのセキュリティとガバナンスを担保東京リージョンでも利用可能 Cortex Analystの特徴 Yusuke Hayashi 参考：https://docs.snowflake.com/en/user-guide/snowflake-cortex/cortex-analyst 6

1,000 メッセージあたり 67 クレジットの費用が発生成功した応答のみカウントトークン数によらず、処理されたメッセージ数に基づく SQLの実行コストは含まれない AWS Tokyoリージョン、Enterpriseプランの場合 1メッセージあたり：0.067×$4.3≒$0.28
1ドル150円とすると40円ちょい Cortex Analystのコスト Yusuke Hayashi 参考：https://docs.snowflake.com/en/user-guide/snowflake-cortex/cortex-analyst 7

社内評価セットに基づいたベンチマークで90%以上の精度を達成（2024 年8月時点）当時の最先端LLMでのシングルショットSQL生成の倍近くの精度他のText to SQLソリューションよりも高い精度
Cortex Analystの精度 Yusuke Hayashi 参考：https://www.snowflake.com/ja/blog/cortex-analyst-ai-self-service- analytics/ 8

Classification agent: 質問内容を分類 Feature extraction agent: 質問の特徴を抽出 Context enrichment
agent: コンテキストを追加 SQL generation agents: 特徴とコンテキストからSQLクエリを生成 Error correction agent: SQLのエラー検出と修正 Synthesizer agent: 複数SQLを受け取り最終的なクエリを生成 Cortex Analystの内部ロジック Yusuke Hayashi 参考：https://www.snowflake.com/en/engineering-blog/snowflake-cortex-analyst- behind-the-scenes/ 9

ユースケース：POSデータを使ったデータ分析 Cortex Analystとはユースケース：POSデータを使ったデータ分析おまけ：ネイティブアプリで実装する場合おわりに Yusuke Hayashi 10

やりたいこと：POSデータについて自然言語で問い合わせると、集計が走って分析できるアプリを作る活用イメージ：メーカーの営業の方がデータ集計にかける時間を減らし、企画書作成などにより注力できるように全体像 Yusuke Hayashi
11

使うデータ：POSのダミーデータセマンティックモデルを作成するセマンティックモデルをステージにアップロードする Streamlit in Snowflakeでアプリを作成して実行するアプリの作成方法 →Streamlit in Snowflakeで実装
Yusuke Hayashi 詳細はこちらに： https://zenn.dev/tree_and_tree/articles/fe6f261748b560 https://zenn.dev/tree_and_tree/articles/e1c9dc57cdde28 12

POSのダミーデータ：月次で店舗×商品ごとに売上が入っているデータデータイメージ店舗商品売上個数売上金額月 A 商品1 100
30000 2022-01 A 商品2 200 40000 2022-01 B 商品1 150 45000 2022-01 ... ... ... ... ... 使うデータ Yusuke Hayashi 13

データのメタデータに該当する情報で、yaml形式で記述テーブル名、カラム名、データ型、説明などを記述することで、ビジネスユーザーとデータベースの間のギャップを埋めるセマンティックモデルとは Yusuke Hayashi 参考：https://docs.snowflake.com/en/user-guide/snowflake-cortex/cortex-
analyst/semantic-model-spec https://github.com/Snowflake-Labs/sfguide-getting-started-with-cortex- analyst/blob/main/revenue_timeseries.yaml 14

公式が配布しているセマンティックモデルジェネレーターを使うと簡単に作成できる！参考のGitHubからデプロイすることが可能 Streamlit in Snowflakeのアプリとしてデプロイするのが一番手軽セマンティックモデルジェ
ネレーター Yusuke Hayashi 参考: https://github.com/Snowflake-Labs/semantic-model-generator 15

テーブル名や列名などの基本的なフィールドを埋めた状態で作成できる！セマンティックモデルジェネレーターでセマンティックモデルを作成する Yusuke Hayashi 16

カラムのnameやdescriptionを修正してリッチな情報にする synonyms：カラム名の類義語とみなす単語を記述する例えばカラム名が「CHANE_NAME」の時に、チェーン名、店名、店舗名などを synonymsとして記述 →ユーザーが使いそうなフレーズを上手く入れてあげるのが大事そう verufied_queriesに具体例となるクエリを記述し、精度をあげる公式ドキュメントにも色々Tipsが書いてあって参考になる例）縦持ちではなく横持ちのテーブルを使う：列ごとの情報を書けるので情報が増えるセマンティックモデル作成のポイントだと思うところ
Yusuke Hayashi 参考: https://docs.snowflake.com/ja/user-guide/snowflake-cortex/cortex-analyst/semantic-model-spec#tips-for-creating-a-semantic-model 17

編集したファイルをセマンティックモデルジェネレーターからアップロードするだけアップロード先はSnowflakeのステージセマンティックモデルをステージにアップロードする Yusuke Hayashi 18

Streamlit in Snowflakeでpythonのコードを書き、アプリを作成する Streamlit in Snowflakeでアプリを作成して実行する Yusuke Hayashi
19

実際のアプリ →少しだけデモします！ Yusuke Hayashi 20

アプリ画面イメージ Yusuke Hayashi 21

おまけ：ネイティブアプリで実装する場合 Cortex Analystとはユースケース：POSデータを使ったデータ分析おまけ：ネイティブアプリで実装する場合おわりに Yusuke Hayashi 22

Snowflake Native App Framework： Snowflake内部でアプリを作成し、そのアプリを公開できるフレームワークネイティブアプリにすることで外部に公開でき、プロダクトとしての提供が可能！
特定のアカウントにプライベート共有マーケットプレイスで公開ネイティブアプリとは Yusuke Hayashi 参考：https://docs.snowflake.com/ja/developer-guide/native-apps/native- apps-about 23

作成したアプリのソースコード含め、必要なファイルを整備するファイルをSnowflakeへアップロードするアプリケーションを公開するコンシューマー側でインストールし、アプリを使うネイティブアプリの作成手順 Yusuke Hayashi 24

都度サポートに問い合わせて設定を変更してもらう必要があるサポートなしでできるようになってほしい……！ 2025年3月現在、毎回サポートに問い合わせないと動かない!! Yusuke Hayashi 25

おわりに Cortex Analystとはユースケース：POSデータを使ったデータ分析おまけ：ネイティブアプリで実装する場合おわりに Yusuke Hayashi 26

Cortex Analystはデータ分析の民主化に近づくサービスビジネスユーザーにとって、チャットでデータ分析ができるのは画期的ダッシュボードを見るでもなくローデータの数表をいじるでもない、新しい選択肢ネイティブアプリ化まで行くとデータ活用のサービスとしてより実用的なラインに個人的な所感 Yusuke Hayashi 27

Cortex Analystでデータ分析の民主化に挑む

Cortex Analystでデータ分析の民主化に挑む

treeandtree

More Decks by treeandtree

Featured

Transcript