Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Athenaで実現する時系列データのパフォーマンス改善
Search
Atsushi Yokota
October 19, 2023
Programming
0
150
Athenaで実現する時系列データのパフォーマンス改善
AWS スタートアップ交流会 Beer Bust LT 資料
Atsushi Yokota
October 19, 2023
Tweet
Share
More Decks by Atsushi Yokota
See All by Atsushi Yokota
在庫の最適化を実現する SaaSデータ基盤の裏側
atsuyokota
0
150
Rust on Lambda 大きめCSV生成
atsuyokota
3
1.3k
Other Decks in Programming
See All in Programming
クリーンアーキテクチャから見る依存の向きの大切さ
shimabox
5
1.1k
『テスト書いた方が開発が早いじゃん』を解き明かす #phpcon_nagoya
o0h
PRO
8
2.4k
技術を改善し続ける
gumioji
0
120
Go 1.24でジェネリックになった型エイリアスの紹介
syumai
2
290
Datadog DBMでなにができる? JDDUG Meetup#7
nealle
0
150
Formの複雑さに立ち向かう
bmthd
1
940
kintone開発を効率化するためにチームで試した施策とその結果を大放出!
oguemon
0
160
sappoRo.R #12 初心者セッション
kosugitti
0
280
ファインディLT_ポケモン対戦の定量的分析
fufufukakaka
0
920
CI改善もDatadogとともに
taumu
0
200
ML.NETで始める機械学習
ymd65536
0
230
ナレッジイネイブリングにAIを活用してみる ゆるSRE勉強会 #9
nealle
0
160
Featured
See All Featured
Building Your Own Lightsaber
phodgson
104
6.2k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
A Philosophy of Restraint
colly
203
16k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
990
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Scaling GitHub
holman
459
140k
Statistics for Hackers
jakevdp
797
220k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Building Adaptive Systems
keathley
40
2.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Navigating Team Friction
lara
183
15k
Transcript
Athenaで実現する時系列 データのパフォーマンス改善 フルカイテン株式会社 横田
Atsushi Yokota バックエンドエンジニア 2 • 2020年10月よりフルカイテンに参画。 • FULL KAITEN V3の新規開発に携わり、Rustによる
GraphQLサーバーの構築やデータ基盤の構築を担当 • バックエンドグループマネージャー 自己紹介
3 在庫を利益に 変えるクラウド 今ある在庫で 売上・利益を最大化! 直感的に操作できる 使いやすいツール 運用定着まで 徹底サポート! EC・店舗・倉庫、
全ての在庫をAIで予測・分析し、 商品力をワンクリックで見える化。 とは
4 導入実績 ※一部抜粋/順不同 ※2023年10月時点
1. フルカイテンのマイチャート機能について 2. AuroraからAthenaへの移行 3. Athenaのパーティションのポイント 4. 移行結果 Agenda
6 フルカイテンの「マイチャート」の機能について • 売上、粗利、在庫など多様な指標を日/週/月単位で可視化 • KPIの定点観測や課題探索ツールとして利用
7 マイチャート機能の特徴 データ量が多い レスポンス の遅延 書き込みの 増加
Rust AuroraからAthenaへ移行 React バックエンド GraphQL PostgreSQL フロントエンド React フロントエンド S3
After Before 取得 SQL Athena クエリエンジン (Trino/Presto) Glue データ基盤 Rust バックエンド GraphQL Glue データ基盤 取得 SQL 書込 書込
9 Athenaのパーティション例 時系列 データ date=2023-10-01/ xx.parquet …… 1億 15万 8万
20万 適切なパーティション化によるレスポンスの高速化 date=2023-10-02/ date=2023-10-03/ xx.parquet xx.parquet
10 移行結果 データ量が多いほど、Athenaの方が効果的 ※Auroraは運用上、日付をインデックスにしての計測となります。
11 まとめ • Athenaの移行によって、データ量が多いアカウントで も一定時間でレスポンスが返ってくるようになった。 • AuroraのI/Oコストの削減にも繋がった。 データの特性や要件に合わせてサービス選定をしよう
エンジニア募集中! 一緒に世界の大量廃棄問題を解決しましょう! https://note.com/fullkaiten_re フルカイテン公式note