Athenaで実現する時系列データのパフォーマンス改善

AWS スタートアップ交流会 Beer Bust LT 資料

Transcript

1. Athenaで実現する時系列 データのパフォーマンス改善 フルカイテン株式会社 横田
2. Atsushi Yokota バックエンドエンジニア 2 • 2020年10月よりフルカイテンに参画。 • FULL KAITEN V3の新規開発に携わり、Rustによる GraphQLサーバーの構築やデータ基盤の構築を担当 • バックエンドグループマネージャー 自己紹介
3. 3 在庫を利益に 変えるクラウド 今ある在庫で 売上・利益を最大化！ 直感的に操作できる 使いやすいツール 運用定着まで 徹底サポート！ EC・店舗・倉庫、 全ての在庫をAIで予測・分析し､ 商品力をワンクリックで見える化｡ とは
4. 4 導入実績 ※一部抜粋/順不同 ※2023年10月時点
5. 1. フルカイテンのマイチャート機能について 2. AuroraからAthenaへの移行 3. Athenaのパーティションのポイント 4. 移行結果 Agenda
6. 6 フルカイテンの「マイチャート」の機能について • 売上、粗利、在庫など多様な指標を日/週/月単位で可視化 • KPIの定点観測や課題探索ツールとして利用
7. 7 マイチャート機能の特徴 データ量が多い レスポンス の遅延 書き込みの 増加
8. Rust AuroraからAthenaへ移行 React バックエンド GraphQL PostgreSQL フロントエンド React フロントエンド S3 After Before 取得 SQL Athena クエリエンジン (Trino/Presto) Glue データ基盤 Rust バックエンド GraphQL Glue データ基盤 取得 SQL 書込 書込
9. 9 Athenaのパーティション例 時系列 データ date=2023-10-01/ xx.parquet …… 1億 15万 8万 20万 適切なパーティション化によるレスポンスの高速化 date=2023-10-02/ date=2023-10-03/ xx.parquet xx.parquet
10. 10 移行結果 データ量が多いほど、Athenaの方が効果的 ※Auroraは運用上、日付をインデックスにしての計測となります。
11. 11 まとめ • Athenaの移行によって、データ量が多いアカウントで も一定時間でレスポンスが返ってくるようになった。 • AuroraのI/Oコストの削減にも繋がった。 データの特性や要件に合わせてサービス選定をしよう
12. エンジニア募集中！ 一緒に世界の大量廃棄問題を解決しましょう！ https://note.com/fullkaiten_re フルカイテン公式note