Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kyashの決済部分におけるDatadog監視事例
Search
Seiya Sato
September 15, 2020
Technology
0
370
Kyashの決済部分におけるDatadog監視事例
Inside Fintech Meetup ~ Finatext × Kyash × FOLIO ~ の登壇資料
Seiya Sato
September 15, 2020
Tweet
Share
Other Decks in Technology
See All in Technology
Sansanのデータプロダクトマネジメントのアプローチ
sansantech
PRO
0
150
Connect 100+を支える技術
kanyamaguc
0
200
関数型プログラミングで 「脳がバグる」を乗り越える
manabeai
1
190
KubeCon + CloudNativeCon Japan 2025 Recap Opening & Choose Your Own Adventureシリーズまとめ
mmmatsuda
0
270
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
170
無意味な開発生産性の議論から抜け出すための予兆検知とお金とAI
i35_267
4
13k
How Do I Contact HP Printer Support? [Full 2025 Guide for U.S. Businesses]
harrry1211
0
120
american airlines®️ USA Contact Numbers: Complete 2025 Support Guide
supportflight
1
110
ゼロからはじめる採用広報
yutadayo
3
920
Delegating the chores of authenticating users to Keycloak
ahus1
0
140
敢えて生成AIを使わないマネジメント業務
kzkmaeda
2
440
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
48
19k
Featured
See All Featured
Practical Orchestrator
shlominoach
189
11k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
We Have a Design System, Now What?
morganepeng
53
7.7k
The Invisible Side of Design
smashingmag
301
51k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Music & Morning Musume
bryan
46
6.6k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Fireside Chat
paigeccino
37
3.5k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Transcript
Kyashの決済部分における Datadog監視事例 Inside Fintech Meetup 〜 Finatext x Kyash x
FOLIO 〜 2020/09/15 株式会社 Kyash Paymentチーム 佐藤 聖也
2 佐藤 聖也(さとう せいや) - 2020年3月入社 - Paymentチーム所属 - Visa決済、QUICPay決済関係のお仕事
- 決済履歴の漢字対応とかとか。。。 自己紹介
3 01. 監視の構成/ツール 02. Datadogで利用している機能 03. 独自で監視しているもの 04. これから Agenda
01. 監視の構成/ツール
監視の構成/ツール サーバーやDB その他マネージドサー ビス Datadog PagerDuty Slack
02. Datadogで利用している機能
7 よく使っている機能 - ダッシュボード - Datadog Logs - APM Trace
Datadogさん素晴らしい ↑ロゴもかわいい
8 - CPU使用率、I/Oなど基本的なメトリクス - 決済にかかっている時間 - Critical、Emergency Logの出力量 - 存在しないカード番号や有効期限間違いが発生しているオー
ソリ要求の量 - etc... ダッシュボードに出しているもの(一部)
9 - CPU使用率、I/Oなど基本的なメトリクス - 決済にかかっている時間 - Critical、Emergency Logの出力量 - 存在しないカード番号や有効期限間違いが発生しているオー
ソリ要求の量 ダッシュボードに出しているもの(一部) ←トラフィック、 サチュレーション ← レイテンシ ← エラー ↑ エラー 4大シグナルは把握できるようになっている
ダッシュボードの活用 - オフィスの大きい液晶にダッシュボードを出す - 現在フルリモートなので使えてない - チーム内で設定したSLI/SLOの確認 - 負荷試験を行う時に専用ダッシュボードを作る
ダッシュボードの余談
ダッシュボードの余談 テザリングでダッシュボードを見てると めっちゃくちゃギガが減る…らしい?
Datadog Logs - 使うのは基本的にリリース後や問題を検知したとき - Live Tailを意味もなく見ている - ログが流れるということは利用しているユーザー様がいる ということの証明
- 各マイクロサービスがどのようなログを出しているのか見 る - 当然カード番号など重要な情報はマスクされている
Datadog Logs のいいところ - SSHしてEC2にログインしなくてもログを見れる - ログが1箇所に集約される - Slackに貼るときログ詳細のURLを貼ればSlackの会話ログを 汚染しない
Datadog Logs を活用するために。。。 - 当たり前ではあるがノイズをへらすこと - 適切なログレベルにする - そもそもそのログ出力は今必要なのか?
APM Traces - 激重リクエストがあったときに何がどのくらいかかっているの か把握する - TracesをDurationでソートすると重いリクエストがわかる - リクエスト内で何がどれだけ時間を使っているか把握する -
激重クエリ?別のサービスが遅い?
17 ダッシュボードからTraceをすぐ確認できる ダッシュボードから把握できる Tracesへ即遷移できるのですぐ見に行ける
APM Traces - 快適な決済体験を実現するのに一番役に立っている - まだ完璧ではなくspanの設置の仕方はまだ模索中 - カジュアルに改善している
03. 独自で監視しているもの
独自の監視について - VisaのサーバーとのTCPコネクション - TCPコネクションは張りっぱなし
ある夜。。。 突然決済が失敗し始める 決済サーバーのログを見ても特に変な挙動をした様子もない
ある夜。。。 オンコール中にログなどからみんなネットワーク周りと予想は していたけど証明できるものがなかった しばらく経ち専用線サービスからの障害通知を遅れて受 け取る
対処 自分たちで把握しなければという課題感 - tcpdumpを使ってTCPコネクションの状態を確認できるス クリプトを設置 - 同様の症状が何度か発生したがスクリプトでFINが来てお り切断されたことを把握できるようになった
04. これから
まだまだ課題はたくさん - 今現状の監視で満足ということはない - より素早くサービスの状態が把握できるようにしたい - Twitterとか見てるとまだ把握しきれていない問題がありそ う - Twitterも優秀なモニタリングツール!?
より快適な決済体験実現のため 改善を続けていきます!
We’re Hiring! Kyashではアプリエンジニア、サーバーサイドエンジニア、SREな ど様々な職種の募集を行っております! 一緒に新しいお金の文化を創っていきませんか? https://kyash.co/recruit @kyashrecruit_jp
ご清聴ありがとうございました!