Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SPCS(Snowpark Container Services)×OpenAI API×St...
Search
tree__and__tree
March 14, 2024
Technology
0
130
SPCS(Snowpark Container Services)×OpenAI API×Streamlitでアプリ作成
SPCS(Snowpark Container Services)を使って、クチコミデータを分析できるアプリを作ってみました!
その内容についてのスライドです。
tree__and__tree
March 14, 2024
Tweet
Share
More Decks by tree__and__tree
See All by tree__and__tree
ペルソナマーケティングにおけるAI活用の取り組み
yusukehayashi
0
6
VSCodeとPythonでいい感じの分析環境を作る
yusukehayashi
0
36
LLMで議事録を作ってみた ~GPT-4o vs Gemini1.5 Pro vs Claude 3 Opus、三つ巴の戦い~
yusukehayashi
0
210
Other Decks in Technology
See All in Technology
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
250
【shownet.conf_】放送局とShowNetが共創する、未来の放送システム ~Media over IP 特別企画の裏側~
shownet
PRO
0
270
LINEヤフー新卒採用 コーディングテスト解説 実装問題編
lycorp_recruit_jp
1
12k
Sansanにおける全社横断データ分析基盤の挑戦と未来 / Challenges and Future of Cross-Organizational Data Analytics Platform at Sansan
sansan_randd
2
310
ドメインと向き合う - 旅行予約編
hidenorigoto
4
530
Rubyはなぜ「たのしい」のか? / Why is Ruby a programmers' best friend? #tqrk15
expajp
4
1.7k
Create Inquiry via Bedrock / 生成 AI で問い合わせ品質は変わるのか?思いついてぱっと作ったものを供養してみる
kazzpapa3
1
200
LINEヤフー新卒採用 コーディングテスト解説 アルゴリズム問題編
lycorp_recruit_jp
0
13k
分析者起点の企画を成功させた連携面の工夫
lycorptech_jp
PRO
1
220
トークナイザー入門
payanotty
2
570
Hazard pointers with reference counter
ennael
PRO
0
110
Tracking down sources of kernel errors with retsnoop
ennael
PRO
0
140
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
263
13k
Robots, Beer and Maslow
schacon
PRO
157
8.2k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
41
9.2k
Fireside Chat
paigeccino
32
2.9k
What the flash - Photography Introduction
edds
67
11k
10 Git Anti Patterns You Should be Aware of
lemiorhan
653
59k
Practical Orchestrator
shlominoach
185
10k
Building Better People: How to give real-time feedback that sticks.
wjessup
360
19k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
92
16k
Why Our Code Smells
bkeepers
PRO
334
57k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
663
120k
Happy Clients
brianwarren
97
6.7k
Transcript
Snowpark Container Servicesで解き放つ︕データアプリケーションの魔法 #SnowVillage SPCS×OpenAI API×Streamlitでアプリ作成 2024年3⽉1⽇ 株式会社インテージ 林 佑亮
CONFIDENTIAL
1 1 ⾃⼰紹介 主な業務内容 趣味 経歴 林 佑亮 Hayashi Yusuke
2021年(新卒) 東京⼤学⼤学院 ⼯学系研究科 修了 購買データを⽤いたクラスタリング ⼝コミデータの⾃動分類 LLM関連のPoC(最近多め) 家庭⽤ゲーム、旅⾏ ⼊社 株式会社インテージ 事業開発本部 DX部 1G データサイエンティスト
2 2 作ったアプリ クチコミデータを分析するStreamlitのアプリ in SPCS(Snowpark Container Services) Image Registry
Service Compute CPU SNOWFLAKE OPTIMIZED STORAGE SNOWPARK CONTAINER SERVICES GPT-4 DALL·E 3 Database
3 3 アプリの画⾯
4 4 アプリの画⾯
5 5 アプリの画⾯
6 6 アプリの画⾯
7 7 コンテナの中⾝ JupyterLabで試⾏錯誤をしながらStreamlitを使えるように Image Registry Service Compute CPU SNOWPARK
CONTAINER SERVICES 分析コードを実装 実装内容をアプリ化 スクリプト、処理後のデータ、app.pyを格納
8 8 Specファイル Specファイル(サービス起動に必要な設計書)を記述してサービスを起動 spec: containers: - name: jupyterlab-streamlit image:
path/to/imagefile env: OPENAI_API_KEY: "***" volumeMounts: - name: work-volume mountPath: /home/work endpoints: - name: jupyterlab port: 8888 public: true - name: streamlit port: 8501 volumes: - name: work-volume source: "SERVICE_STAGE_FOR_MOUNT" ※Specファイルイメージ Image Registry Service SPCS
9 9 データベースとの接続 Snowflake内に格納したデータを読み込んで前処理を実施 SPCS Service Pythonで前処理 SnowflakeのDBにテー ブルデータを格納 DB
10 10 外部LLMとの接続 OpenAI APIを使ってLLMとやり取り GPT-4 DALL·E 3 Service SPCS
アウトバウンド通信を許可 するルールを作り、サービ スに割り当て
11 11 外部LLMとの接続 Azure OpenAIとの接続も可能だった Service SPCS API Management Azure
OpenAI SPCSのIPアドレスを ホワイトリストに追加
12 12 SPCSを使ってみた所感 いいところ • 要件に最適な環境をカスタマイズで構築 • Snowflakeだけで全て完結︕ データベースからアプリケーションまで 難しいところ
• 開発ハードルが⾼め • ドキュメントやネット情報が充実していな い • アップデートが頻繁 →これから改善するはず…︕
13 13 SPCSを使ってみた所感 いいところ • 要件に最適な環境をカスタマイズで構築 • Snowflakeだけで全て完結︕ データベースからアプリケーションまで 難しいところ
• 開発ハードルが⾼め • ドキュメントやネット情報が充実していな い • アップデートが頻繁 →これから改善するはず…︕ 無限の可能性をぜひ体験してみてください︕
None