Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Kyashの決済部分におけるDatadog監視事例

Avatar for Seiya Sato Seiya Sato
September 15, 2020
Technology
0
370

 Kyashの決済部分におけるDatadog監視事例

Inside Fintech Meetup ～ Finatext × Kyash × FOLIO ～ の登壇資料

Avatar for Seiya Sato

Seiya Sato

September 15, 2020
Tweet

Other Decks in Technology

See All in Technology
Practical Agentic AI in Software Engineering
Avatar for U-Zyn Chua uzyn
0
110
Function Body Macros で、SwiftUI の View に Accessibility Identifier を自動付与する/Function Body Macros: Autogenerate accessibility identifiers for SwiftUI Views
Avatar for Yuki Miida miichan
2
180
下手な強制、ダメ！絶対！ 「ガードレール」を「檻」にさせない"ガバナンス"の取り方とは？
Avatar for Masataka Tsukamoto tsukaman
2
440
Obsidian応用活用術
Avatar for 松濤Vimmer onikun94
2
490
Snowflakeの生成AI機能を活用したデータ分析アプリの作成 〜Cortex AnalystとCortex Searchの活用とStreamlitアプリでの利用〜
Avatar for Nayuta S. nayuts
1
480
Automating Web Accessibility Testing with AI Agents
Avatar for South maminami373
0
1.2k
ブロックテーマ時代における、テーマの CSS について考える Toro_Unit / 2025.09.13 @ Shinshu WordPress Meetup
Avatar for Toro_Unit (Hiroshi Urabe) torounit
0
120
バイブスに「型」を！Kent Beckに学ぶ、AI時代のテスト駆動開発
Avatar for amixedcolor amixedcolor
2
540
Firestore → Spanner 移行 を成功させた段階的移行プロセス
Avatar for a-thug athug
1
460
テストを軸にした生き残り術
Avatar for KNOWLEDGE WORK / 株式会社ナレッジワーク kworkdev
PRO
0
200
AWSを利用する上で知っておきたい名前解決のはなし（10分版）
Avatar for nagisa_53 nagisa53
10
3.1k
2つのフロントエンドと状態管理
Avatar for MIXI ENGINEERS mixi_engineers
PRO
3
100

Featured

See All Featured
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
16k
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
PRO
54
11k
Unsuck your backbone
Avatar for Amy Palamountain ammeep
671
58k
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
64
7.9k
The Illustrated Children's Guide to Kubernetes
Avatar for Chris Short chrisshort
48
50k
Fireside Chat
Avatar for paigeccino paigeccino
39
3.6k
Rebuilding a faster, lazier Slack
Avatar for samanthasiow samanthasiow
83
9.2k
What's in a price? How to price your products and services
Avatar for Michael Herold michaelherold
246
12k
For a Future-Friendly Web
Avatar for Brad Frost brad_frost
180
9.9k
Learning to Love Humans: Emotional Interface Design
Avatar for Aarron Walter aarron
273
40k
Rails Girls Zürich Keynote
Avatar for Gregor Martynus gr2m
95
14k
Gamification - CAS2011
Avatar for David Bonilla davidbonilla
81
5.4k

Transcript

  1. Kyashの決済部分における Datadog監視事例 Inside Fintech Meetup 〜 Finatext x Kyash x

    FOLIO 〜 2020/09/15 株式会社 Kyash Paymentチーム 佐藤 聖也

  2. 2 佐藤 聖也（さとう せいや） - 2020年3月入社 - Paymentチーム所属 - Visa決済、QUICPay決済関係のお仕事

    - 決済履歴の漢字対応とかとか。。。 自己紹介

  3. 3 01. 監視の構成/ツール 02. Datadogで利用している機能 03. 独自で監視しているもの 04. これから Agenda

  4. 01. 監視の構成/ツール

  5. 監視の構成/ツール サーバーやDB その他マネージドサー ビス Datadog PagerDuty Slack

  6. 02. Datadogで利用している機能

  7. 7 よく使っている機能 - ダッシュボード - Datadog Logs - APM Trace

    Datadogさん素晴らしい ↑ロゴもかわいい

  8. 8 - CPU使用率、I/Oなど基本的なメトリクス - 決済にかかっている時間 - Critical、Emergency Logの出力量 - 存在しないカード番号や有効期限間違いが発生しているオー

    ソリ要求の量 - etc... ダッシュボードに出しているもの（一部）

  9. 9 - CPU使用率、I/Oなど基本的なメトリクス - 決済にかかっている時間 - Critical、Emergency Logの出力量 - 存在しないカード番号や有効期限間違いが発生しているオー

    ソリ要求の量 ダッシュボードに出しているもの（一部） ←トラフィック、 　サチュレーション ← レイテンシ ← エラー ↑ エラー 4大シグナルは把握できるようになっている

  10. ダッシュボードの活用 - オフィスの大きい液晶にダッシュボードを出す - 現在フルリモートなので使えてない - チーム内で設定したSLI/SLOの確認 - 負荷試験を行う時に専用ダッシュボードを作る

  11. ダッシュボードの余談

  12. ダッシュボードの余談 テザリングでダッシュボードを見てると めっちゃくちゃギガが減る…らしい？

  13. Datadog Logs - 使うのは基本的にリリース後や問題を検知したとき - Live Tailを意味もなく見ている - ログが流れるということは利用しているユーザー様がいる ということの証明

    - 各マイクロサービスがどのようなログを出しているのか見 る - 当然カード番号など重要な情報はマスクされている

  14. Datadog Logs のいいところ - SSHしてEC2にログインしなくてもログを見れる - ログが1箇所に集約される - Slackに貼るときログ詳細のURLを貼ればSlackの会話ログを 汚染しない

  15. Datadog Logs を活用するために。。。 - 当たり前ではあるがノイズをへらすこと - 適切なログレベルにする - そもそもそのログ出力は今必要なのか？

  16. APM Traces - 激重リクエストがあったときに何がどのくらいかかっているの か把握する - TracesをDurationでソートすると重いリクエストがわかる - リクエスト内で何がどれだけ時間を使っているか把握する -

    激重クエリ？別のサービスが遅い？

  17. 17 ダッシュボードからTraceをすぐ確認できる ダッシュボードから把握できる Tracesへ即遷移できるのですぐ見に行ける

  18. APM Traces - 快適な決済体験を実現するのに一番役に立っている - まだ完璧ではなくspanの設置の仕方はまだ模索中 - カジュアルに改善している

  19. 03. 独自で監視しているもの

  20. 独自の監視について - VisaのサーバーとのTCPコネクション - TCPコネクションは張りっぱなし

  21. ある夜。。。 突然決済が失敗し始める 決済サーバーのログを見ても特に変な挙動をした様子もない

  22. ある夜。。。 オンコール中にログなどからみんなネットワーク周りと予想は していたけど証明できるものがなかった しばらく経ち専用線サービスからの障害通知を遅れて受 け取る

  23. 対処 自分たちで把握しなければという課題感 - tcpdumpを使ってTCPコネクションの状態を確認できるス クリプトを設置 - 同様の症状が何度か発生したがスクリプトでFINが来てお り切断されたことを把握できるようになった

  24. 04. これから

  25. まだまだ課題はたくさん - 今現状の監視で満足ということはない - より素早くサービスの状態が把握できるようにしたい - Twitterとか見てるとまだ把握しきれていない問題がありそ う - Twitterも優秀なモニタリングツール！？

    より快適な決済体験実現のため 改善を続けていきます！

  26. We’re Hiring! Kyashではアプリエンジニア、サーバーサイドエンジニア、SREな ど様々な職種の募集を行っております！ 一緒に新しいお金の文化を創っていきませんか？ https://kyash.co/recruit @kyashrecruit_jp

  27. ご清聴ありがとうございました！