Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
cocone Teck Talk Vol.4 - 膨大になったDBを何とかする /dealin...
Search
cocone
October 14, 2021
Programming
790
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
cocone Teck Talk Vol.4 - 膨大になったDBを何とかする /dealing_huge_db
長年運営をしてきた「ポケコロ」のDBに関して、現在の課題とその対応策についてお話します。
cocone
October 14, 2021
Transcript
18 slides
膨大になったDBを何とかする ポケコロサーバー開発 忻 楽鳴
¿名前 忻 楽鳴 ¿社歴 2017年入社して、ポケコロサーバー開発 を担当しております。 その前職はSIerとして、5,6年ぐらい調査 会社のシステム開発をやっていました。大 量データの取り扱いがそこからです。 ¿趣味 ゲーム、寝る
¿出身 上海@中国
まず、現状どうなっている?? mariaDB、mongoDB、redisDBなど、機能によって使い 分けています。問題になっているのは mariaDBです。 左のようにmaster-slave構成となっています。 masterのdisk使用量が92%まで上昇されています。(月 3~4%ぐらい増え続ける) 簡単計算すると何もしないと余命2ヶ月です(笑) 大量データがあって slow
queryも出やすい状態です。 slave遅延がひどくなるとサービスに影響も出てます。
なにが入ってる?? 所持してるアイテム(約50%) アイテムの獲得履歴、異動履歴 (約15%) 保存してるコーディネート (約15%) 所持数制限がない 何と履歴は削除しない!
・サーバースペックを上げても限界が あります ・仮に容量を拡張できたとしても、逆 にslowqueryがもっと酷くなります
まず、データを減らして、容量 を確保しなきゃ!!!! 1. 必要のないデータを消す 2. 保存期間を設ける 3. 格納するデータを軽量化する 4. 似てようなデータを1つに
通帳など履歴データは基本 3ヶ月しか見せなかった!!
1. しょっちゅう問合せがあって、以前の データを調べたりする必要がある 2. 警察に情報の提供を協力する場合も ある 3. 履歴データは分析する材料でもある 簡単に消すには行かなかった んです。。。
1年以上のデータのことな ら問合せがほぼ来ないの で、削除OKです CXチーム どうしても必要の場合、 BigQueryに移します。 BIチーム 利用契約に追記してもらい ます 運営チーム、法務
バッチ実装して、一定期間 過ぎたデータを継続的に削 除しますように サーバーチーム メンテで過去のデータを削 除します サーバーチーム CMSなど参照先を変更な ど対応します。 サーバーチーム
不要なデータや期間のある履歴を 消したけど、そこまで減っていなかっ たんです
データを移動させ、容量を確保 できるじゃん!!!! 1. 同じDBの別インスタンスに移す 2. 違うDBに移す 3. 非アクティブユーザーデータのアーカ イブ
同じDBの別インスタンスに移すのは簡 単そうに見えるんです。 が、 オンプレミスなので、DBサーバーを用意 するのは結構時間が必要です。 そして、RDBなので、別インスタンスにな ると、分散トランザクションに変えなけれ ば行けないんです。
MariaDBからMongoDBに移します。 ・可能の限り1User 1Docment ・予めshardingに 非アクティブユーザーのデータをアーカイブ 用DB移して削除します ・復帰した場合、自動的にデータを戻せる 仕組みも用意
92% 80% 60% 今ここ disk使用率
None
将来のために何かを準備しな いといけないんだ!! 容量の危機が一旦回避しただけで す。いくつのテーブルが大きいすぎ、 slow queryなどはまだ解消されていま せん 倍以上のDAU、MAUになった時でも 耐えられるようにアーキテクチャにシフト しないといけません。
None
None
More Decks by cocone
See All by cocone
Cocone_Research_Center_2025.pdf
cocone
0
400
20240301_cocone_EMゆるミートアップvol6_LT資料
cocone
0
970
2024_cocone-wellbeing
cocone
0
5.3k
2023夏季合同企業説明会ココネ
cocone
0
430
cocone TECH TALK Vol.6 - リアルタイム対戦xバックエンドアーキテクチャ
cocone
0
750
cocone TECH TALK Vol.6 - ココネグループのブロックチェーン MOOI Network とのバックエンド連携
cocone
0
700
cocone TECH TALK Vol.6 - Kotlin バックエンドアーキテクチャ of アバターサービス
cocone
0
690
cocone corporation(JPN)/Handbook2022
cocone
1
31k
cocone Tech Talk vol.5 - Unity Dotsを使ってみた
cocone
0
2.6k
Other Decks in Programming
See All in Programming
Claude Codeのおかげでやりたいことがやれるようになったんだよォー!
sms_tech
0
180
AI時代のIaC入門 〜なぜインフラをコードで管理したいのか?〜 / Introduction to IaC in the AI Era
akihisaikeda
6
1.6k
疎結合とは何か?ソフトウェア設計における結合バランスについて考える #phpcon_niigata
kajitack
2
400
まずはコードより業務と向き合う:テーブル解体のためにPdMを呼んだ話
sakawe_ee
0
270
なぜ私たちは「現時点では」KMPの導入を見送ったのか
chigichan24
1
570
Beyond Chatbots: Agentic UI with Open Standards @W-JAX 2026, München
manfredsteyer
PRO
0
130
AI時代のシニアエンジニアとは
yosuke_furukawa
PRO
15
12k
ローカルLLMの基本と近況 2611 / Local LLM basics and recent situation 2611
kishida
3
640
Goコンパイラを作ってGoをもっと理解する / Build a Go compiler to better understand Go
ikura_hamu
0
130
AI Augmentation Techniques with Liberty
ivargrimstad
1
550
Materialが消えた日 〜真っ白なFlutterキャンバスにRenderObjectで絵を描く〜
umigishiaoi
0
170
ビジネスロジックを堅牢に~Scala 3のドメインプリミティブ~
j5ik2o
0
220
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
254
23k
The Spectacular Lies of Maps
axbom
PRO
1
1.1k
Agile Leadership in an Agile Organization
kimpetersen
PRO
0
320
Done Done
chrislema
187
17k
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
380
The Illustrated Children's Guide to Kubernetes
chrisshort
51
53k
Leveraging Curiosity to Care for An Aging Population
cassininazir
1
570
Reality Check: Gamification 10 Years Later
codingconduct
0
2.4k
First, design no harm
axbom
PRO
2
1.4k
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
aleyda
1
1.4k
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
chikuwait
0
960
Intergalactic Javascript Robots from Outer Space
tanoku
273
28k