Athenaで実現する時系列データのパフォーマンス改善

Athenaで実現する時系列データのパフォーマンス改善フルカイテン株式会社横田

Atsushi Yokota バックエンドエンジニア 2 • 2020年10月よりフルカイテンに参画。 • FULL KAITEN V3の新規開発に携わり、Rustによる
GraphQLサーバーの構築やデータ基盤の構築を担当 • バックエンドグループマネージャー自己紹介

3 在庫を利益に変えるクラウド今ある在庫で売上・利益を最大化！直感的に操作できる使いやすいツール運用定着まで徹底サポート！ EC・店舗・倉庫、
全ての在庫をAIで予測・分析し､商品力をワンクリックで見える化｡とは

4 導入実績 ※一部抜粋/順不同 ※2023年10月時点

1. フルカイテンのマイチャート機能について 2. AuroraからAthenaへの移行 3. Athenaのパーティションのポイント 4. 移行結果 Agenda

6 フルカイテンの「マイチャート」の機能について • 売上、粗利、在庫など多様な指標を日/週/月単位で可視化 • KPIの定点観測や課題探索ツールとして利用

7 マイチャート機能の特徴データ量が多いレスポンスの遅延書き込みの増加

Rust AuroraからAthenaへ移行 React バックエンド GraphQL PostgreSQL フロントエンド React フロントエンド S3
After Before 取得 SQL Athena クエリエンジン (Trino/Presto) Glue データ基盤 Rust バックエンド GraphQL Glue データ基盤取得 SQL 書込書込

9 Athenaのパーティション例時系列データ date=2023-10-01/ xx.parquet …… 1億 15万 8万
20万適切なパーティション化によるレスポンスの高速化 date=2023-10-02/ date=2023-10-03/ xx.parquet xx.parquet

10 移行結果データ量が多いほど、Athenaの方が効果的 ※Auroraは運用上、日付をインデックスにしての計測となります。

11 まとめ • Athenaの移行によって、データ量が多いアカウントでも一定時間でレスポンスが返ってくるようになった。 • AuroraのI/Oコストの削減にも繋がった。データの特性や要件に合わせてサービス選定をしよう

エンジニア募集中！一緒に世界の大量廃棄問題を解決しましょう！ https://note.com/fullkaiten_re フルカイテン公式note

Athenaで実現する時系列データのパフォーマンス改善

Athenaで実現する時系列データのパフォーマンス改善

Atsushi Yokota

More Decks by Atsushi Yokota

Other Decks in Programming

Featured

Transcript