Share
Embed
Transcript
57 slides
-
3 今日の話 • Palcyチームで起こった失敗話をします • 失敗を通じて伝えたいのは基本的な3点です ◦ 1. キャッシュを使う ◦
2. 不要なデータは使わない ◦ 3. テーブルを適切な形に変更する -
8 講談社×ピクシブによる少女・女性マンガアプリ 雑誌発売と同時に最新話を配信&オリジナル作品も 多数 モバイルアプリがメインでAndroid / iOS • AWS •
Ruby on Rails(6.1) • MySQL(5.7) • Redis(6.2) https://palcy.jp/ もしくはアプリストアで 「パルシィ」と検索 -
キャッシュを使う 14 Palcyで利用するキャッシュ • 1. WebAPIで条件なく同一のデータを返すもの ◦ 例:作品情報、特定の画面のJSONレスポンス • 2.
テーブルを参照するとクエリが返ってこなくなるもの ◦ 例:履歴を対象とするミッション -
• Active Model Serializerの利用 ◦ ほぼJSONでレスポンスを返すWebAPIが主で使いやすい ◦ expire期間も指定できる ◦ 多少のロジックを実装できる
▪ 故に内部でDBアクセスする実装を行えばN+1が起こる キャッシュを使う 15 1.同一のデータを返すもの -
キャッシュを使う 16 1.同一のデータを返すもの class ComicV2Serializer < ActiveModel::Serializer cache expires_in: 1.hour,
except: [:is_liked, :episode_count …] attributes :id, :title, :ruby, :author, :author_image_url … has_many :tags def author_image_url object.author_image_url.nil? ? 'https://example.com/default.png' : object.author_image_url end … end Serializer側の実装例 -
キャッシュを使う 17 Railsのアップデート中に... 障害が発生 いくつかのAPIで500エラーが発生 Rendering 500 with exception: no
implicit conversion of String into Hash 5.1から5.2にアップデートした際発生 キャッシュからの読み込みに失敗 キャッシュキーを変更して回避 -
キャッシュを使う 18 1.同一のデータを返すもの • 開発環境でも実機確認を経ているのでなぜ見逃したか? • 開発環境の大事な特性 ◦ アクセスがとても少ない ◦
アクセスがなければexpireのあるキャッシュは消える -
キャッシュを使う 19 1.同一のデータを返すもの • Rspecのテストでは同一の状態でしかテストができないため、発見で きない • 開発環境上で定期的にキャッシュを作って、キャッシュからモデルを 読み込めるかチェックを実施 ◦
エラー時Salckへの通知を行い、本番投入前に異常検知ができ るように整備 -
キャッシュを使う 20 2.テーブルを参照するとクエリが帰ってこなくなるもの • マンガアプリにおいてはどれくらい読んだかが大事なKPI ◦ インセンティブのために「ミッション」機能で、X話を読むと作品が 読める「チケット」を配布するものがあるため ◦ 読んだ履歴を参照すると激重クエリが発生するため
◦ 数十億レコードのテーブルに対しJOINしているため単純な参照 でもリクエストが返ってこなくなるため -
キャッシュを使う 21 2.テーブルを参照するとクエリが帰ってこなくなるもの ElastiCache for Redis 履歴テーブル 基本的に書き込みだけ 読み書き両方 user_idと作品IDと日付のセットを配列で保存
ミッションの判定を高速に行えるようになった 特に重い履歴テーブルに関する処理の実装方針 -
キャッシュを使う 24 まとめ(キャッシュを使う) • Active Model SerializerやStringのキャッシュサーバーへの保存 を行い、DB負荷を減らすように設計する ◦ ただしデシリアライズ時のエラーなどキャッシュに起因するバグに悩
まされるので、監視体制を作っておく • キャッシュサーバーを活用するときは不必要にデータを持ちすぎない -
不要なデータは使わない 29 特定ユーザーのスロークエリ • スロークエリを眺めていると、「特定のユーザー」でしか発生していない スロークエリがある • レスポンスタイムを見ていると30秒で張り付いている ◦ API
Gatewayの最大時間=タイムアウト • 「特定ユーザー」の共通項は長期間利用しているヘビーユーザー • スロークエリは0時に多く発生している -
不要なデータは使わない 30 特定ユーザーのスロークエリ • 原因はお気に入りの機能 ◦ APIでユーザーお気に入り全件と閲覧情報をJOINさせていたこと が原因 ◦ 多く読んでいる&多くお気に入りに入れることが原因だったのでヘ
ビーユーザーに多かった ◦ 0時に多く発生していたのは0時に情報が更新されるため、この時 間にアクセスするユーザーが多かったから 作品メタ情報 -
不要なデータは使わない 32 特定ユーザーのスロークエリ • お気に入りの制約(1)😭 ◦ バッチ更新ができない ▪ SQLの中にメタ情報を参照して毎日変わる数値があり、全ユー ザーに対して一斉に情報を更新することが難しい
◦ すべての履歴を参照するためデータを移動することで軽くすること も難しい -
不要なデータは使わない 34 特定ユーザーのスロークエリ • お気に入りを2ページ化してスロークエリを減らした ◦ 1ページ目を100件にし、2件目は全件表示するように変更 ◦ 全部をお気に入りに入れているユーザー(編集長)もいる ◦
ただし1日に更新が起きる作品には限りがある ◦ 全ユーザーのお気に入り数を調べ、100件程度返せば実用に耐え られる -
テーブルを適切な形に変更する 38 2023年夏 - 障害発生 障害が発生 Rendering 500 with exception:
2147483648 is out of range for ActiveModel::Type::Integer with limit 4 bytes -
テーブルを適切な形に変更する 39 2023年夏 - 障害発生 障害が発生 Rendering 500 with exception:
2147483648 is out of range for ActiveModel::Type::Integer with limit 4 bytes >ActiveModel::Type::Integer.new.send(:max_value) => 2147483648 -
テーブルを適切な形に変更する 40 障害となった作品閲覧に対するミッション履歴 • create_table "user_comic_browse_mission_histories" do |t| t.bigint "user_id",
null: false t.bigint "mission_id", null: false t.integer "user_comic_browse_history_id", null: false t.datetime "created_at", null: false t.datetime "updated_at", null: false t.index ["user_id", "mission_id"] end # 作品閲覧に対して達成されたミッションの履歴 -
キャッシュを使う 41 作品の閲覧履歴管理テーブル • create_table "user_comic_browse_histories" do |t| t.bigint "user_id",
null: false t.bigint "comic_id", null: false t.datetime "browse_at", null: false t.datetime "created_at", null: false t.datetime "updated_at", null: false t.index ["user_id", "comic_id"] end https://railsguides.jp/active_record_basics.html -
テーブルを適切な形に変更する 42 BIGINTの対応漏れ(一次対応) • ALTER TABLEは可能か? ◦ user_comic_browse_mission_histories自体も数十億をゆう に超える ◦
時間が全く予測できない ◦ int型→bigint型への変更なのでオンラインDDLは難しい • 障害対応のため一旦機能自体を止めることになった -
テーブルを適切な形に変更する 47 BIGINTの対応漏れ(恒久対応&他テーブルへの対応) class CreateUserComicBrowseMissionBigintHistories < ActiveRecord::Migration[6.1] def change create_table
:user_comic_browse_mission_bigint_histories do |t| # テーブル名を変更 t.integer :user_id, null: false t.integer :mission_id, null: false t.bigint :user_comic_browse_history_id, null: false # bigint型に変更 t.timestamp end end end # 下線部分が差分 -
class TargetTable < ApplicationRecord after_commit :duplicate_bigint_table, on: :create def duplicate_bigint_table
TargetBigintTable.create!(self.attributes) end end 49 モデル側の実装 -
class TargetTableMoveTask LIMIT = 10_000 def execute end_id = TargetTable.minimum(:id)
start_id = end_id - LIMIT while end_id > 0 target_table = TargetTable.where(id: start_id..end_id) records = target_table.map do |record| TargetBigintTable.new(record.attributes) end TargetBigintTable.import!(records, on_duplicate_key_update: update_attrs) end_id = start_id start_id = end_id - LIMIT start_id = 0 if start_id <= 0 sleep 0.5 end end end 50 バッチの実装 -
テーブルを適切な形に変更する 51 BIGINTの対応漏れ(恒久対応&他テーブルへの対応) user_comic_browse_mission_histories bkp_user_comic_browse_mission_histories テーブル名を変更 対応済みテーブルが参照さ れるようになる user_comic_browse_mission_histories user_comic_browse_mission_bigint_histories
class SwapUserComicBrowseMissionBigintHistories < ActiveRecord::Migration[6.1] def change rename_table :user_comic_browse_mission_histories, :bkp_user_comic_browse_mission_histories rename_table :user_comic_browse_mission_bigint_histories, :user_comic_browse_mission_histories end end -
テーブルを適切な形に変更する 54 BIGINTの対応漏れ(恒久対応&他テーブルへの対応) def check_auto_increment_result query = <<~SQL SELECT table_name,
auto_increment FROM information_schema.tables WHERE 1900000000 < auto_increment AND auto_increment < 2147483648 ORDER BY auto_increment DESC; SQL results = ActiveRecord::Base.connection.execute(query) results.each do |row| notice_alert("int型の上限が近付いています。テーブル名 : #{row[0]} ") notice("table_name: #{row[0]}, auto_increment: #{row[1]}") # Slack通知処理 end end +--------------+------------------------+ | table_name | auto_increment | +--------------+------------------------+ | table_name | (0-9)+| …. -
テーブルを適切な形に変更する 55 まとめ(テーブルを適切な形にする ) • Xデーはある日突然やってくる ◦ 履歴系のテーブルはBIGINT型を使う ◦ ALTER
TABLEは無理でもRENAME TABLEは高速。余裕があ るうちにカラムの型を見直しておく ◦ auto_incrementの監視機能を実装しておく