SPCS(Snowpark Container Services)×OpenAI API×Streamlitでアプリ作成

SPCS(Snowpark Container Services)を使って、クチコミデータを分析できるアプリを作ってみました！
その内容についてのスライドです。

Transcript

1. Snowpark Container Servicesで解き放つ︕データアプリケーションの魔法 #SnowVillage SPCS×OpenAI API×Streamlitでアプリ作成 2024年3⽉1⽇ 株式会社インテージ 林 佑亮 CONFIDENTIAL
2. 1 1 ⾃⼰紹介 主な業務内容 趣味 経歴 林 佑亮 Hayashi Yusuke 2021年（新卒） 東京⼤学⼤学院 ⼯学系研究科 修了 購買データを⽤いたクラスタリング ⼝コミデータの⾃動分類 LLM関連のPoC(最近多め) 家庭⽤ゲーム、旅⾏ ⼊社 株式会社インテージ 事業開発本部 DX部 1G データサイエンティスト
3. 2 2 作ったアプリ クチコミデータを分析するStreamlitのアプリ in SPCS(Snowpark Container Services) Image Registry Service Compute CPU SNOWFLAKE OPTIMIZED STORAGE SNOWPARK CONTAINER SERVICES GPT-4 DALL·E 3 Database
4. 3 3 アプリの画⾯
5. 4 4 アプリの画⾯
6. 5 5 アプリの画⾯
7. 6 6 アプリの画⾯
8. 7 7 コンテナの中⾝ JupyterLabで試⾏錯誤をしながらStreamlitを使えるように Image Registry Service Compute CPU SNOWPARK CONTAINER SERVICES 分析コードを実装 実装内容をアプリ化 スクリプト、処理後のデータ、app.pyを格納
9. 8 8 Specファイル Specファイル(サービス起動に必要な設計書)を記述してサービスを起動 spec: containers: - name: jupyterlab-streamlit image: path/to/imagefile env: OPENAI_API_KEY: "***" volumeMounts: - name: work-volume mountPath: /home/work endpoints: - name: jupyterlab port: 8888 public: true - name: streamlit port: 8501 volumes: - name: work-volume source: "SERVICE_STAGE_FOR_MOUNT" ※Specファイルイメージ Image Registry Service SPCS
10. 9 9 データベースとの接続 Snowflake内に格納したデータを読み込んで前処理を実施 SPCS Service Pythonで前処理 SnowflakeのDBにテー ブルデータを格納 DB
11. 10 10 外部LLMとの接続 OpenAI APIを使ってLLMとやり取り GPT-4 DALL·E 3 Service SPCS アウトバウンド通信を許可 するルールを作り、サービ スに割り当て
12. 11 11 外部LLMとの接続 Azure OpenAIとの接続も可能だった Service SPCS API Management Azure OpenAI SPCSのIPアドレスを ホワイトリストに追加
13. 12 12 SPCSを使ってみた所感 いいところ • 要件に最適な環境をカスタマイズで構築 • Snowflakeだけで全て完結︕ データベースからアプリケーションまで 難しいところ • 開発ハードルが⾼め • ドキュメントやネット情報が充実していな い • アップデートが頻繁 →これから改善するはず…︕
14. 13 13 SPCSを使ってみた所感 いいところ • 要件に最適な環境をカスタマイズで構築 • Snowflakeだけで全て完結︕ データベースからアプリケーションまで 難しいところ • 開発ハードルが⾼め • ドキュメントやネット情報が充実していな い • アップデートが頻繁 →これから改善するはず…︕ 無限の可能性をぜひ体験してみてください︕