100万レコード超えそう（その２）

100万レコード超えそうその２

自己紹介名前：ミヤワキ個人開発＆受託開発組込からスマホアプリまでやります好きな言語はKotlin 山を走るのが趣味

とある家計簿アプリのお話です

基本スタンドアローンで動きますが、家計簿の同期はサーバ経由です

現在、登録ユーザ1700人→4000人程度で 24万→87万レコードのテーブルがあります収入・支出履歴テーブルのレコード数の推移

このまま順調にいくと 100万レコードを超えるかも！

100万レコードを超えるとパフォーマンスの劣化が顕著になるらしい実際、1回の同期に5,6秒かかるケースもでてきた

でも安易にサーバ増強するとか富豪的アプローチはとりたくない t3.microで頑張りたい！ ※ t3.micro: vCPU2個メモリ1GB

4個の施策・手動で同期してもらう・古いデータをS3に逃がす・Bulk Insertを使う・パーティショニング

S3 EC2 RDS 年1の移動ユーザ登録・ログイン古いデータをS3に逃がす 2年分だけ保存

1万レコードの挿入(MariaDB) Bulk単位処理時間(msec) Bulkなし 2,440 1000 410 10000 259 1万レコードの挿入(SQLite)
Bulk単位処理時間(msec) Bulkなし 44,189 10 2,839 100 1,537 200 1,867 500 2,967 t3.micro Huawei P20lite Android9 Bulk Insertを使う

ここまでやって、現在は1回の同期が平均90ms未満、最大3秒

100万レコード超えてパフォーマンスが劣化したらやってみます乞うご期待！パーティショニング

100万レコード超えそう（その２）

100万レコード超えそう（その２）

wakio

More Decks by wakio

Other Decks in Programming

Featured

Transcript