Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スケーラビリティの課題解決に向けたココナラのデータベース移行戦略
Search
coconala_engineer
June 13, 2024
Technology
1
680
スケーラビリティの課題解決に向けたココナラのデータベース移行戦略
大規模データベース移行の技術的チャレンジと実践例の登壇資料。
https://findy.connpass.com/event/320871/
coconala_engineer
June 13, 2024
Tweet
Share
More Decks by coconala_engineer
See All by coconala_engineer
エンジニアマネージャーになった理由を振り返ってみた
coconala_engineer
0
37
Developer Experienceを向上させる基盤づくりの取り組み事例集
coconala_engineer
0
180
Vue.jsで入力フォームにリアルタイムハイライト機能を自前実装した話
coconala_engineer
0
31
技術広報経験0のEMがエンジニアブランディングを始めてみた
coconala_engineer
2
220
オンコール運用をほんの少し効率的に行うためのTips
coconala_engineer
0
220
事業会社におけるセキュリティ・ ITガバナンス強化への道のり
coconala_engineer
0
25
徹底解説!Insight SQL Testingを活用したデータベース移行の実践ポイント
coconala_engineer
0
210
人材・モチベーション・情報システムの融合とエンゲージメント
coconala_engineer
0
130
Macインスタンスを活用したアプリE2Eテストの実現
coconala_engineer
1
470
Other Decks in Technology
See All in Technology
OPENLOGI Company Profile
hr01
0
53k
令和最新版 Perlコーディングガイド
anatofuz
2
1.4k
「ばん・さく・つき・たー!」にならないためにSHIROBAKOから 学んだこと
ysknsid25
3
570
いまからでも遅くない! コンテナでWebアプリケーションを 動かしてみよう(2-1)WebAPI座学
nomu
0
150
k6を活用した再現性・拡張性の高い負荷試験基盤の構築
biwashi
11
3k
Efficient zero-copy networking using io_uring
ennael
PRO
0
300
AI時代のアジャイル開発(XP祭り2024版) / Agile Development in the AI Era in XPJUG
takaking22
13
3.5k
小さな勉強会の始め方、広げ方、あるいは友達の作り方 / How to Start, Grow, and Build Connections with Small Study Groups
ar_tama
3
1.6k
kube-vipとkube-proxy置き換えCiliumを積んだ究極のK3sクラスタを建てる
logica0419
4
200
Oracle Cloud Infrastructure:2024年9月度サービス・アップデート
oracle4engineer
PRO
0
370
AWSへのNIST SP800-171管理策 導入に向けての整備/20240930 Mitsutoshi Matsuo
shift_evolve
0
160
Strict Concurrencyにしたらdeinitでクラッシュする話
0si43
0
120
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
87
5.6k
4 Signs Your Business is Dying
shpigford
180
21k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.3k
Designing for humans not robots
tammielis
249
25k
Scaling GitHub
holman
458
140k
RailsConf 2023
tenderlove
28
840
Building a Scalable Design System with Sketch
lauravandoore
459
32k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
23
1.7k
The Cost Of JavaScript in 2023
addyosmani
43
5.8k
Into the Great Unknown - MozCon
thekraken
30
1.4k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
The Brand Is Dead. Long Live the Brand.
mthomps
53
38k
Transcript
Copyright coconala Inc. All Rights Reserved. スケーラビリティの課題解決に向けた ココナラのデータベース移行戦略 株式会社ココナラ 川崎
雄太 2024/06/13 大規模データベース移行の 技術的チャレンジと実践例
Copyright coconala Inc. All Rights Reserved. 自己紹介(川崎 雄太) 2 川崎
雄太 Yuta Kawasaki @yuta_k0911 株式会社ココナラ システムプラットフォーム部 部長 / Head of Information SRE / 情シス / セキュリティ領域のEM SRE NEXT 2024のコアメンバー 最近の推し:K-POP、麺屋武蔵
Copyright coconala Inc. All Rights Reserved. 3 ココナラの事業内容
Copyright coconala Inc. All Rights Reserved. ココナラのエンジニア数の変遷 4 事業拡大に合わせて3年で約3倍の組織規模に成長 2020年
2023年 フェーズ 上場前 上場後 エンジニア数 20人強 70人強 リポジトリ数 45 170以上
Copyright coconala Inc. All Rights Reserved. 5 Agenda ココナラで抱えていたデータベースの課題 課題にどう向き合ったか?
今後の取り組み 2 1 3
Copyright coconala Inc. All Rights Reserved. ココナラで抱えていたデータベースの課題 Chapter 01 6
Copyright coconala Inc. All Rights Reserved. 「データベースの課題」といっても、 さまざまな切り口がありますよね🤔 ココナラでもたとえば、QCDの バランス確保やライフサイクルへの
追随で悩んできました😓 7
Copyright coconala Inc. All Rights Reserved. ひとことで言うと、スケーラビリティが確保できていなかった 8 設定したKPIより、AWS RDSのSLAの方が低い
KPIとして設定している目標はリクエ スト成功率が99.96%以上。 一方で、Amazon RDS(マルチAZ クラスタ)のSLAは99.95%となって おり、そもそも自社でコントロールでき ないところで、KPI達成が難しい状況 … イコール、意図せずKPIとして無理が ある設定になっていた。
Copyright coconala Inc. All Rights Reserved. IOPS(1秒あたりのI/Oアクセスの数)も限界が迫っていた 9 このままだと、近い未来にIOPSの上限に抵触する Amazon
RDSのインスタンスサイズは 適切なものを利用していたので、CPU やメモリなどは問題なかったが、 IOPSの上限に抵触しそうになっ た。 暫定的にデータベースのデータ量と無 関係にストレージを拡張すること で、IOPSの上限を上げていった が、一時しのぎであった。
Copyright coconala Inc. All Rights Reserved. 前述の課題に加えて、MySQL 5.7 EOL 対応も迫ってきた…😓
放っておいても数年後には限界を 迎えることも自明😭 本腰を上げたのが、2022年の春頃! 10
Copyright coconala Inc. All Rights Reserved. 課題にどう向き合ったか? Chapter 02 11
Copyright coconala Inc. All Rights Reserved. Amazon Auroraへの移行 12 定めたKPIの達成に向けてAmazon
Auroraを採用 Amazon Aurora(マルチAZクラ スタ)のSLAは99.99%なので、定 めているリクエスト成功率(99.96%) よりも高い。 また、IOPSの上限も撤廃されるた め、2つの課題を一気にクリアできる ことを期待して、Amazon Auroraへ 移行することを意思決定した。 Amazon Aurora Amazon RDS
Copyright coconala Inc. All Rights Reserved. DB移行は一大プロジェクトなので、マイルストーンを設定し、経営層と合意形成 13 MySQL5.7 EOL期限をデッドラインとして、計画を策定
経営層に「技術課題として、一番リスクと 難易度が大きいもの」とインプットするため に対応するタスクの整理と、マイルストーン 設定から着手。 MySQL5.7 EOL期限から逆算して、1年半が かりのプロジェクトを立ち上げ、ナレッジを 徐々に蓄積できるように5つのデータ ベースを影響が少ないところから順に対 応していく計画とした。
Copyright coconala Inc. All Rights Reserved. メンテナンス時間削減を目的としたブルーグリーンデプロイの採用 14
Copyright coconala Inc. All Rights Reserved. Insight Database Testingを活用したSQLのテスト自動化 15
8億本ものSQLに対するテストを自動化するツールを利用
Copyright coconala Inc. All Rights Reserved. IOPS上限問題 抱えていた課題はどうなった? 16 SLO未達問題
EOL期限問題
Copyright coconala Inc. All Rights Reserved. 今後の取り組み Chapter 03 17
Copyright coconala Inc. All Rights Reserved. データベース移行はやっぱり事前の準備が大事 18 集められる情報は集めて、自社としての最適解を見つける 「データベース移行」といっても、システム構
成やシステム特性によって、考慮するポイ ントはさまざま。 類似したアーキテクチャーを採用しているシ ステムの情報を参考に「自社のベストプラク ティス」を探すことが重要。 なんといっても、数年に一度は必ず訪れる イベント・・・
Copyright coconala Inc. All Rights Reserved. システムメンテナンスの無い世界を目指していきたい 19 無停止でメンテナンスイベントをこなす最適解を見つける クラウドサービスを使っている限り、「基盤の
メンテナンス」は切っても切れないイベント になる。(全てがライブマイグレーションにな れば、みんなHappyだけど…) ココナラは「全てがそろうスキルマーケット」を 目指しているので、極力システムメンテナ ンスがない世界を実現するための机上 / 実機検証を続ける。
Copyright coconala Inc. All Rights Reserved. データベースはどの企業でも利用してい るので、ナレッジを公開している企業は たくさんあります。 過去の知見や、AWS等のベンダーを
使い倒して、長きに渡るデータベース 移行を安全に乗り切りましょう!!😁 20
Fin