Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
アンケートシステムを強くするアプリケーションデータ基盤
Search
Tatsuya Koreeda
February 01, 2024
0
29
アンケートシステムを強くするアプリケーションデータ基盤
みんなの考えた最強のデータアーキテクチャ'24新春-最新版 登壇資料
https://datatech-jp.connpass.com/event/301807/
Tatsuya Koreeda
February 01, 2024
Tweet
Share
More Decks by Tatsuya Koreeda
See All by Tatsuya Koreeda
夏データフェス 育てろ!! まだ最強じゃないみんなのデータアーキテクチャ
ktatsuya
0
16
Snowflake上でRを使う: RStudioセットアップとShinyアプリケーションのデプロイ
ktatsuya
0
140
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
126
32k
Optimising Largest Contentful Paint
csswizardry
13
2.4k
Raft: Consensus for Rubyists
vanstee
133
6.3k
How STYLIGHT went responsive
nonsquared
92
4.8k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
23
1.7k
10 Git Anti Patterns You Should be Aware of
lemiorhan
649
58k
The Straight Up "How To Draw Better" Workshop
denniskardys
228
130k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
21
1.6k
Typedesign – Prime Four
hannesfritz
36
2.1k
The World Runs on Bad Software
bkeepers
PRO
61
6.7k
Facilitating Awesome Meetings
lara
43
5.6k
What's new in Ruby 2.0
geeforr
338
31k
Transcript
ΞϯέʔτγεςϜΛڧ͘͢Δ ΞϓϦέʔγϣϯσʔλج൫
是枝達也@cs_dev_engineer 趣味 バイオデータの解析・可視化(バイオインフォマティクス) クリエイティブサーベイ株式会社 開発部 データエンジニア Koreeda et al., under
review
Confidential © CREATIVE SURVEY CREATIVE SURVEY データ基盤
導⼊
データ分析基盤の⼀般例 Data Source Data warehouse layer Connectoing layer Access
layer BI tool DataLake layer Datawarehouse layer DataMart layer Cloud Log File CSV ETL/ELT
アプリケーション利⽤するデータ基盤 Data Source Data warehouse layer Connectoing layer Access
layer DataLake layer Datawarehouse layer DataMart layer Application ETL/ELT OLTP DB (MySQL, PostgresDB) Transaction Data Analysis Machine Learning OLAP DB (snowflake, BigQuery)
snowpark/ Snowpark ML /Native App Framework /streamlit / UDF
/ ετΞυϓϩγʔ δϟ/ϩάτϨʔε/֎෦ωοτϫʔΫΞΫηε/ ֎෦ؔ/ SQL REST API / Kafka͓ΑͼSpark ίωΫλ / Snowpark Container Services / Snowpark Container Services jobs / Apache Iceberg Table / Unistore / Snowflake CLI / Snowflakeにあるアプリ開発向け機能
Snowpark Container Service(SPCS) ・2023年12⽉に⼀部リージョンでGA (東京リージョンはまもなくという噂) ・コンテナ化されたアプリを Snowflake 内で直接実⾏可能 ・snowflake上に固有のエンドポイント構築が可能 https://www.snowflake.com/blog/https-www-snowflake-com-blog-snowpark-container-services-deploy-genai-full-
stack-apps/?lang=ja snowflakeをバックエンドに使⽤する という選択が可能に
アプリケーション利⽤でsnowflakeを使った企業 https://prtimes.jp/main/html/rd/p/000000023.00005554 9.html https://prtimes.jp/main/html/rd/p/000000295.000010550. html しかし、⽇本国内でデータ基盤(snowflake)をアプリケーション利⽤する企業はまだまだ少ない https://prtimes.jp/main/html/rd/p/000000126.000013454.html Powered by
Snowflake︓snowflakeをアプリケーション利⽤した企業に対する賞
弊社でのデータ基盤位置付け
アンケートにとどまらない多様なユースケースでご利⽤頂いております Confidential © CREATIVE SURVEY 11 マルチチャネルフォーム「AskOne」
アンケートやフォーム︓顧客の意⾒を分析するために取るもの → データ分析基盤の存在がめちゃくちゃ⼤事
AskOneも顧客にとってはデータソースの⼀つ 顧客が持つデータ分析基盤向けの連携機能や分析機能を作る必要がある ͦͷଞσʔλιʔε
最強のアプリケーションデータ基盤
これから話す最強のアプリケーションデータ基盤は、これえだの願望が多分に含まれています。 プロダクト開発ロードマップでないことにご留意ください
最強のアプリケーションデータ基盤
顧客データ分析基盤と多様な連携システム 1. データ分析基盤を⽤意していない顧客 → Reader Account 2. snowflakeを使っている顧客 → Data
sharing 3. その他基盤 →個社専⽤アンケートデータDBへのクエリ や、External Stageへのアクセス(CSV出 ⼒など) 1. 2. 3.
SPCSを利⽤したLLMによるアンケートデータ整形 ・snowflake cortexやOpen AIなどのサー ドパーティなどLLMと連携 ・欲しいアンケートデータ構造をプロンプト にて作成 ・アンケートデータを学習させて分析できる
DevOps環境(CI/CD, 構成管理ツールなど) ・dbtやschema changeをGithub上でコード管理 (開発者体験の向上) ・SPCSとECS環境にそれぞれのイメージをDeploy ・集計処理を担うマイクロサービスアプリの構築
顧客データ分析基盤と多様な連携システム Data sharing機能、Reader機能、External Stageの開放 SPCS上でのアプリケーション開発 LLM利⽤を使ったアンケートデータの処理
プロダクトの集計処理を切り出したマイクロサービスアプリ データ基盤のDevOpsの仕組み構築 snowflakeリソースの宣⾔的な管理 CI/CDの整備 今後やっていきたいこと