Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
稼働中サービスの大規模データをどう移すか。仕訳帳検索のOpenSearch移行
Search
freee
PRO
October 20, 2026
Technology
77
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
稼働中サービスの大規模データをどう移すか。仕訳帳検索のOpenSearch移行
freee 技術の日 2026のセッション資料です。
freee
PRO
October 20, 2026
Transcript
37 slides
None
稼働中サービスの⼤規模データをどう移すか。 仕訳帳検索のOpenSearch移⾏ 萩本 康⼼(hagi) 2026年10⽉3⽇
会計申告開発本部 業種特化部 エンジニア 萩本 康心(hagi) 2025年4月に新卒でfreeeに入社。 freeeホームページ の立ち上げ後、 現在までfreee会計の開発に従事。
仕訳帳の検索が 速くなりました
仕訳帳の検索が速くなりました 仕訳帳検索のレイテンシ(p99) 20s 約12秒 15s 10s 約4秒 5s RDB での検索を
OpenSearch に移して、p99 が約12秒 → 約4秒
ただ、今⽇の主役は 検索ではありません 主役は、動いているサービスの数⼗億件をどう移したか
今⽇のゴール ⽌められないサービスで、数⼗億件をどう移すかを理解する
01 仕訳帳とは?
すべての仕訳が記録される、最も件数の多い帳簿 仕訳帳の画⾯(スクリーンショット) 会計データは消えない。過去の仕訳は残り続ける
数⼗億件、100万を超える事業所 数⼗億件 100万超 1⽇20万超 仕訳 事業所 仕訳帳の検索 件数は増え続ける
02 なぜ移⾏したのか?
テキスト検索が重く、 データの多い事業所ほど刺さる 部分⼀致検索はインデックスが効かない。 データの多い事業所ほど線形に悪化する 検索結果が返るまで、p99 で 12秒
そして、条件を⾜せなかった 承認ステータスは別のマイクロサービスが持つ。JOIN で絞り込めない 詳細な「承認状態で検索したい」に、実装で応えられない
03 どうやって同期しているか?
仕訳は、会計DBに書かれる 会計API / Web 登録 会計DB
Outbox パターン ― 同じトランザクションでイベント⾏も書く 会計API / Web 登録 会計DB +
outbox テーブル 業務処理と同じコミットに乗せる 業務データとイベントが同⼀トランザクション。at-least-once を保証できる
別プロセスが拾って、OpenSearch に⼊れる 会計API / Web 登録 会計DB + outbox テーブル
読む 登録 Indexer 業務処理と同じコミットに乗せる outbox テーブルをポーリングし、Bulk API で投⼊する Open Search
ドキュメント1件に、3つの社内サービスを叩いている 会計API / Web 登録 会計DB + outbox テーブル 読む
登録 Indexer Open Search ファイル基盤 証憑情報 コメント基盤 コメント情報 業務処理と同じコミットに乗せる 承認基盤 申請状態 1ドキュメント = 3リモートコール
04 何が難しかったのか?
過去の分が、空のまま 同期は動き出した。しかし OpenSearch には過去の仕訳が⼊っていない 数⼗億件のバックフィル(初回同期)が要る
⻑くても2週間だと思っていました 根拠は、数年前に社内でやった取引データの移⾏ 仕訳は freee の中でもトップクラスのデータ量。 この規模を移した経験は、社内にもなかった
1 Pod で数時間流して、計算し直した goroutine の並列数を上げながら実測 このペースなら、1年
05 どうやって流し切ったか?
goroutine を増やせば済むと思っていた Pod 1つの Pod の中で、ドキュメント⽣成を goroutine の worker pool
で並列化
ある並列数から、速くならなくなった 並列数を上げても、スループットが伸びない
待っていたのは、CPU ではなくネットワークだった 承認基盤 ドキュメント ⽣成 ファイル基盤 応答を待っている コメント基盤 1件ごとに、依存サービスからの応答を待つ。 待っている間、プロセスは何もしていない
Pod を増やすしかなかった Pod Pod Pod 送信元を増やせば、並⾏して待てる ただし増やしすぎると、今度は相⼿がリクエスト過多で倒れる Pod
そして、Pod を 1 → 2 → 4 と上げていった Pod 1台
2台 負荷を⾒ながら、段階的に 4台
⾒ていたのは、4つのDBと OpenSearch Pod 1台 2台 4台 負荷を⾒ながら、段階的に ⾒ていたもの 会計DB コメント基盤
承認基盤 認証基盤 CPU‧DBロード‧接続数∕JVMメモリ圧‧エラー率‧IOPS OpenSearch
落ちる前提で作り、 ⽌める⼿段を先に⽤意する 未処理の事業所だけを取り出すカーソル⽅式。処理は冪等 キルスイッチを⽤意し外から⽌められるようにした ループが定期的にフラグを⾒て、安全な位置で⽌まる
1年規模の⾒積もりが、 1ヶ⽉半で終わった
06 結果
仕訳帳の検索が速くなりました 仕訳帳検索のレイテンシ(p99) 20s 15s 10s 約12秒 約4秒 5s RDB での検索を
OpenSearch に移して、p99 が約12秒 → 約4秒
そして、できなかった検索ができるようになった 仕訳帳の検索フォーム(スクリーンショット) コメント検索‧詳細な承認状態での検索が実装できるようになった
07 まとめ
この事例から学べること 1 移⾏のボトルネックは、⾃分のDBではなく他⼈のサービスにある 計画を⽴てる前に、1件あたり誰に何回問い合わせるかを数える 2 並列度は、叩く先の実測で決める ⾃分のDBだけでなく、叩きに⾏く先の負荷を並べて⾒る 3 移⾏バッチは、必ず途中で死ぬ前提で作る ⼀度で流し切る設計にしない。⽌めるスイッチを先に作る
None
More Decks by freee
See All by freee
飛行機に乗り合わせたたった一人の医者として — 分業の先のセキュリティ組織
freee
PRO
1
310
dbt platform導入後の今
freee
PRO
0
360
データマネジメント × 法務で作りあげる、 freeeの新しいデータガバナンスへの軌跡
freee
PRO
3
840
freeeに点在する案件・プロジェクトを統合するための案件マスタ開発
freee
PRO
1
130
freeeにおけるSoftware Factory
freee
PRO
11
7.9k
freeeにおける AI を用いた ブラウザ動作確認の自動化の取り組み
freee
PRO
0
320
AIから最も使われやすいfreeeへ
freee
PRO
0
120
認知負荷との戦い〜 freee AIアシスタントの誕生からハーネス改善まで 〜
freee
PRO
0
200
脱SaaS脳 キャリア25年目の挑戦
freee
PRO
0
88
Other Decks in Technology
See All in Technology
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
240
gem install とrequire のむこうがわ
ydah
0
210
あの日、見つかっていなかったらどうなっていたか
kazzpapa3
2
250
【Oracle AI SPOTLIGHT ウェビナー】【特別開催:日本語で解説!】Oracle AI World 2026 最新情報フィードバック
oracle4engineer
PRO
1
280
共通基盤の実装に Kotlin - Quarkus を選定した理由と採用したアーキテクチャ
nealle
1
120
契約書SaaSにAIエージェントを組み込む
sansantech
PRO
0
180
落とし穴にハマってわかった 開発生産性を測るときに気をつけたいこと
munakata
3
400
DevOps Agentにあらゆるセキュリティインシデントのトリアージを任せた件
jirtosterone
1
180
Claude Codeで新規事業を伸ばせるか? Zennの試行錯誤の記録
wadayusuke
2
240
AWS基盤改善を支える 私たちの理念と行動指針
kentosuzuki
0
240
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
250
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
380
Featured
See All Featured
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.5k
The World Runs on Bad Software
bkeepers
PRO
72
12k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Site-Speed That Sticks
csswizardry
13
1.6k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
10
1.4k
Mobile First: as difficult as doing things right
swwweet
225
10k
エンジニアに許された特別な時間の終わり
watany
109
250k
Java REST API Framework Comparison - PWX 2021
mraible
34
9.8k
Build your cross-platform service in a week with App Engine
jlugia
234
19k
Principles of Awesome APIs and How to Build Them.
keavy
128
18k
30 Presentation Tips
portentint
PRO
1
470
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
1
850