決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム

SBペイメントサービス株式会社では、Pivotal Cloud Foundry・BOSHを使用して次期決済システムを内製で構築しています。変化が激しいキャッシュレス業界において、開発に注力できるプラットフォームとしてPCFを採用し、システム開発を進めています。本セッションでは、「オブザーバビリティ」をひとつのキーワードとして、PCF・BOSHによる、ロギング・モニタリング・トレーシングを含めたプラットフォームの構築・運用事例、BizDevOps各目線でのメリット等を紹介します。

Transcript

1. Pivotal.IO 2019 A-2 July 10 2019 Daichi Kimura, SB Payment Service, daichi.kimura@g.softbank.co.jp 決済システム内製化に向けた プラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム
2. SBペイメントサービス株式会社 チームリーダー プラットフォームエンジニア 木村 大地 主な業務 ・決済サービス基盤整備 ・決済システム監視・運用の効率化 元々は SIer にて各社の案件を担当。インフラ・プラット フォームの設計・構築・運用に従事。 Pivotal Cloud Foundryの構築経験より、 2018年10月にSBペイメントサービスに転職。 自己紹介
3. ソフトバンク携帯ユーザー向けの 「ソフトバンクカード」のカード発行・ 運営をしています。 ソフトバンクカードは、 Visa加盟店 で利用できるプリペイドカードです。 ご利用金額に応じて Tポイントが貯 まります。 カード発行業務 決済代行 EC運営事業者さま向けにオンライン決済 事業を運営しています。豊富な決済手段 をまとめてご提供しています。 カード加盟店業務 Visa、Mastercard、UnionPay（銀聯）のメン バーシップライセンスを保有しており、各ブラ ンドのアクワイアラー（クレジットカード加盟 店契約会社）としての加盟店審査や管理事 業、端末決済サービスを提供しています。 ソフトバンクと共同で、ソフトバンク 携帯ユーザー向けの通話料合算 請求「ソフトバンクまとめて支払い」 の開発・運営をしています。 キャリア決済 EC/ネット店舗 実店舗/訪問販売 決済代行からカード事業まで幅広く展開 SBペイメントサービスの事業内容
4. ソフトバンク携帯ユーザー向けの 「ソフトバンクカード」のカード発行・ 運営をしています。 ソフトバンクカードは、 Visa加盟店 で利用できるプリペイドカードです。 ご利用金額に応じて Tポイントが貯 まります。 カード発行業務 決済代行 EC運営事業者さま向けにオンライン決済 事業を運営しています。豊富な決済手段 をまとめてご提供しています。 カード加盟店業務 Visa、Mastercard、UnionPay（銀聯）のメン バーシップライセンスを保有しており、各ブラ ンドのアクワイアラー（クレジットカード加盟 店契約会社）としての加盟店審査や管理事 業、端末決済サービスを提供しています。 ソフトバンクと共同で、ソフトバンク 携帯ユーザー向けの通話料合算 請求「ソフトバンクまとめて支払い」 の開発・運営をしています。 キャリア決済 EC/ネット店舗 実店舗/訪問販売 決済代行からカード事業まで幅広く展開 SBペイメントサービスの事業内容
5. 今日お話すること • 決済システム・内製体制 • システム構成 • オブザーバブルプラットフォーム ◦ Metrics ◦ Logging ◦ Tracing
6. 決済システム・内製体制 決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム
7. 加盟店 決済機関 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 決済サービス 全て一本化 チケット ECサイト向けに様々な決済手段を提供 加盟店に決済APIを提供するシステム クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 当社 当社 API型 開発対象 オンライン決済サービス
8. 開発対象 オンライン決済サービス 加盟店 決済機関 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 決済サービス 全て一本化 チケット クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 当社 当社 API型 導入実績 約 111,000 店舗 取扱高 約 2.9 兆円 (※2018年度)
9. 開発対象 オンライン決済サービス 加盟店 決済機関 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 決済サービス 全て一本化 チケット クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 当社 当社 API型 決済手段 40 種以上に対応
10. 開発対象 オンライン決済サービス 加盟店 決済機関 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 決済サービス 全て一本化 チケット クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 当社 当社 加盟店システムと決済機関システムの 間に位置する自社だけでは完結しない Webシステム API型
11. 決済システムの内製へ 新システムに求めるモノ • スピード感のある開発/リリース • 継続的な改善のサイクル • 監視が容易で障害に強いシステム 今までは… 案件毎に開発ベンダのチカラを借りて構築 （見積もり/契約/要件定義から検収まで長い道のり）
12. 決済システムの内製へ 新システムに求めるモノ • スピード感のある開発/リリース • 継続的な改善のサイクル • 監視が容易で障害に強いシステム 今までは… 案件毎に開発ベンダさんのチカラを借りて構築 （見積もり/要件定義から検収まで長い道のり） 開発ベンダに頼りきっていてはスピード感のある 開発、小さな改善のサイクルが作れない。
13. 決済システムの内製へ 新システムに求めるモノ • スピード感のある開発/リリース • 継続的な改善のサイクル • 監視が容易で障害に強いシステム 今までは… 案件毎に開発ベンダさんのチカラを借りて構築 （見積もり/要件定義から検収） 内製化によるスピード感のある開発 内製化による継続的な改善
14. 決済システムの内製へ 導入したもの Pivotal Cloud Foundry を中心とした クラウドネイティブなプラットフォーム
16. Pivotal Function Service Auto ScaleおよびScale to zeroを実現 するServerlessなFunction実行基盤 • OSSのKnativeおよびriffがベー ス技術 • Coming soon! Pivotal Container Service Kubernetesをフルに活用した コンテナオーケストレーションを提供 • 自動復旧可能な Kubernetesクラ スタを動的にプロビジョニングす るAPIを提供 • Kubernetesのエコシステムをフ ル活用しつつ運用を楽に Pivotal Application Service アプリケーションセントリックな クラウドネイティブプラットフォーム を提供 • クラウドネイティブなアプリケー ション稼働のための機能をフル に提供 • cf pushによる迅速なアプリリ リース • OSSのCloud Foundryがベース 技術 Platform as a Service Container as a Service Function as a Service PRACTICES PRACTICES PRACTICES
17. Ops 基盤運用 内製体制 チーム体制 Pivotal 槙 (技術支援) Dev アプリ開発 Biz 仕様策定
18. Dev アプリ開発 Ops 基盤運用 内製体制 今後の計画 Biz 仕様策定 ノウハウ展開 拡大 チーム体制
19. https://www.slideshare.net/makingx/springpcf-jsug-sfh1 内製化に至る道のり(アプリ開発メンバー)
20. システム構成 決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム
21. syslog+TLS Logstash Elasticsearch Kibana cf push Concourse Prometheus Grafana git push 全体アーキテクチャ Database cf create-service cf bind-service
22. 環境・DevOps担当範囲 Dev Stg Prod PAS以外はBOSHで管理 Dev Ops Dev/StgとProdの2環境
23. PCF(PAS)・BOSHとは？ クラウドネイティブ・セルフヒーリング
24. BOSHとは？ Day 2 オペレーション運用管理ツール Day 0 設計 Day 1 構築 Day 2 監視・運用
25. Cloud Foundryを支えるBOSH manifest.yml --- os: ubuntu packages: - elasticsearch - logstash - kibana instances: 3 構成定義ファイル(manifest) 資材置き場(blobstore) bosh deploy IaaS Object Storage
26. Cloud Foundryを支えるBOSH manifest.yml --- os: ubuntu packages: - elasticsearch - logstash - kibana instances: 3 AZにまたがってデプロイ Package取得し VM作成 IaaS Object Storage
27. Cloud Foundryを支えるBOSH manifest.yml --- os: ubuntu packages: - elasticsearch - logstash - kibana instances: 3 セルフヒーリング VM・プロセス ヘルスチェック IaaS Object Storage
28. PCF(PAS)・BOSHとは？ クラウドネイティブ・セルフヒーリング
29. Cloud Foundryによるアプリデプロイ cf push manifest.yml --- buildpack: java routes: - route: api.example.com instances: 3 構成定義ファイル(manifest) コンテナイメージ 作成・格納 IaaS
30. Cloud Foundryによるアプリデプロイ コンテナ展開 アプリ実行 Router Router Router manifest.yml --- buildpack: java routes: - route: api.example.com instances: 3 AZにまたがってデプロイ cf push IaaS
31. Cloud Foundryによるアプリデプロイ ルート情報登録 マッピング Router cf push manifest.yml --- buildpack: java routes: - route: api.example.com instances: 3 Router Router https://api.example.com cf pushから数分で アクセス可能 IaaS
32. Cloud Foundryによるアプリデプロイ ヘルスチェック Router cf push manifest.yml --- buildpack: java routes: - route: api.example.com instances: 3 Router Router https://api.example.com セルフヒーリング IaaS
33. インフラ・プラットフォーム運用構成 Dev Prod git push ※実際のインスタンスは AZにまたがってデプロイ 同様 fly set-pipeline Apply Changes bosh deploy IaaS IaaS
34. Dev・Stg・Prodの使い分け Stg Dev 加盟店 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 チケット 決済機関 クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 Dev 開発 Prod
35. Dev・Stg・Prodの使い分け Stg Dev 加盟店 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 チケット 決済機関 クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 Dev 試験 試験 商用 商用 開発 Prod
36. Dev・Stg・Prodの使い分け Stg Dev 加盟店 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 チケット 決済機関 クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 Dev 試験 試験 商用 商用 開発 Prod
37. Dev・Stg・Prodの使い分け Stg Dev 加盟店 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 チケット 決済機関 クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 Dev 試験 試験 商用 商用 開発 Prod Dev/Stg セキュリティ・リソース共有の問題 ⇒PCF Isolation Segmentで解決
38. Dev/Stg環境共有の問題 　セキュリティ・リソース共有 Dev Develop：開発 Staging：外部公開 　　　　 (SLA本番相当) Staging Develop Cell Router LB Security 加盟店・決済機関 試験環境 試験 開発 高負荷 負荷試験 リリース前 論理Space 分割のみ
39. Isolation Segmentでリソース分割 　LB, GoRouter, Diego Cell分離 Dev Develop：開発 Staging：外部公開 　　　　 (SLA本番相当) Staging Develop Cell Cell Router Router LB LB Security Security Isolation Segment 加盟店・決済機関 試験環境 試験 開発 負荷試験も 外部への 影響なし
40. サービスブローカー ミドルウェアの構築をセルフサービス・オンデマンド化
41. サービスブローカー 　ミドルウェア運用作業 Dev VS Ops Dev Ops DB作成依頼 確認・作業準備 DB作成作業 完了連絡 動作確認 再設定... NGだったら... DB作成依頼 DB:xxx user:xxx 納期:x/x よくある運用... $ mysql ... > CREATE DATABASE ... > CREATE USER ... > GRANT ... ~14+ Days 今すぐ欲しいけど 2週間ルールが... Database
42. サービスブローカー 　数クリック・数コマンドで接続完了 Dev cf create-service cf bind-service RabbitMQ Service Broker MySQL Service Broker Database CREATE DATABASE ... CREATE USER ... GRANT ... 接続情報 rabbitmqctl add_vhost ... add_user ... set_permission ... 接続情報 数秒で接続完了
43. アプリケーションアーキテクチャ マイクロサービス メッセージブローカー RabbitMQ サーキットブレーカー Hystrix アプリMetrics Micrometer
44. Service A 加盟店 X 加盟店 Y 決済機関 A 決済機関 B アプリケーション構成（抜粋・概要） Service B API Gateway Receiver A Receiver B 購入要求 決済通知 Notification Gateway
46. オブザーバブルプラットフォーム ➢ Metrics ➢ Logging ➢ Tracing 決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム
47. オブザーバビリティ(Observability)とは？ オブザーバビリティ：可観測性 ※Metrics, tracing, and logging　 https://peter.bourgon.org/blog/2017/02/21/metrics-tracing-and-logging.html メトリクス ログ集約 分散トレース 分散システムを観測可能に
48. PCF・BOSHでのObservability実装 ※Metrics, tracing, and logging　 https://peter.bourgon.org/blog/2017/02/21/metrics-tracing-and-logging.html
49. オブザーバブルプラットフォーム メトリクス・ログ・トレーシングとも PCF・BOSHでなくても構築・運用可能 設定・運用負荷の軽減がポイント
50. オブザーバブルプラットフォーム ➢ Metrics ➢ Logging ➢ Tracing 決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム
51. Metrics 　システム併用により多様なMetricsをサポート Prometheus ・BOSH Metrics ・CF Metrics ・App Metrics ・etc. PCF Healthwatch ・BOSH Metrics ・CF Metrics ・Smoke Tests PCF Metrics ・App Metrics ・App logs
52. Metrics - Prometheus 　時系列メトリクスに特化した監視システム https://prometheus.io/docs/introduction/overview/ メトリクス 収集 メトリクス 可視化 しきい値 アラート
53. Metrics - Prometheus 　Community BOSH-Releaseを使用 https://github.com/bosh-prometheus/prometheus-boshrelease Prometheus Web UI Grafana コミュニティで Dashboardプリセット済み コミュニティで Alertプリセット済み
54. rabbitmq BOSH VMスケールアウトに自動対応 インスタンス単位の設定不要 ⇒ 作業軽減・監視漏れなし { "targets":[ "10.0.1.1", "10.0.2.1", "10.0.3.1", "10.0.1.2", "10.0.2.2", ], "labels":{ "__meta_bosh_deployment":"rabbitmq", "__meta_bosh_job_process_name":"rabbitmq-server" } } 監視先追加 deployment情報監視 スケールアウト スケールアウト target自動追加 BOSH Director
55. Org A Promregator経由でMicrometerのMetricsを一括収集 アプリ単位の設定不要 ⇒ 作業軽減・監視漏れなし Metrics収集 Metrics一式収集 Promregator SpaceA cf push CF Cloud Controller アプリ情報収集 Prometheus 考慮不要 Prometheus Aggregator for Cloud Foundry https://github.com/promregator/promregator 新規アプリにも自動対応
56. Grafanaダッシュボード とは言え、過去の推移は把握しておきたい... 「いま」各deploymentが正常か 「いま」各VM負荷が正常か 注意 注意 Ops BOSH VM 状態・負荷
57. Grafanaダッシュボード Ops RabbitMQ 状態・スループット PCF Router 状態・スループット 他 30種類以上
58. Grafanaダッシュボード Dev アプリMetrics 今までログから可視化していた情報が Grafanaでいつでも確認可能に ・CPU ・ヒープ（各領域ごと） ・スレッド ・GC（回数、時間） ・クラスローダ
59. Grafanaダッシュボード Dev アプリMetrics 今までログから可視化していた情報が Grafanaでいつでも確認可能に ・CPU ・ヒープ（各領域ごと） ・スレッド ・GC（回数、時間） ・クラスローダ 詳細例 GCログ
60. アラート Grafana各種ダッシュボードあるが 基本はアラートトリガー
61. Alertmanager Ops Dev 外部監視センタ等への作業委託なし org_name: OrgA severity: fatal org_name: OrgA severity: /.*/ severity: fatal severity: /.*/ org_name, severity をキーに route/receiver設定 緊急アラートは Twilio架電(24時間対応) アラート対応も内製化
62. Grafanaダッシュボード リンクから状況確認 アラート例 RabbitMQ Dead Letter Queue検知 架電
63. プリセット以外のアラート追加 BOSH Operations-fileで随時アラート追加 ・BOSH VM CPU使用率 (プリセットはLoadAverageのみ) ・CFアプリコンテナ負荷(CPU・RAM・DISK) ・CF Org Memory使用量 ・アプリサーキットブレーカー状態 ・RabbitMQ DLQ ・RabbitMQキュー処理遅延 ・etc. サービスレベル低下を ユーザ申告前に検知
64. Metrics - PCF Healthwatch BOSH・CF Metrics & Smoke Tests
65. Metrics - PCF Healthwatch 　BOSH・CF Metrics & Smoke Tests Metrics監視は基本的にPrometheusに集約 Smoke Test(bosh deploy, cf push)エラーのみPCF Event Alertsで通知
66. Metrics - PCF Metrics アプリ毎のMetrics・Log
67. Metrics - PCF Metrics 　アプリ毎のMetrics・Log Metrics監視は基本的にPrometheus・ログはElastic Stackに集約(後述) 各情報の冗長化・ダブルチェックとしてバックアップ的に使用
68. オブザーバブルプラットフォーム ➢ Metrics ➢ Logging ➢ Tracing 決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム
69. Logging 　Elastic Stackでプラットフォーム・アプリログを集約・可視化 ログアラート 　・ElastAlert 　・Praeco
70. Logging 　Elastic Stackでプラットフォーム・アプリログを集約・可視化
71. Logging - BOSH Elastic Stack 　Community BOSH-Releaseを使用・カスタマイズ ログ参照 Ops Dev Biz ElastAlert Praeco ログ監視・通知 Firehose to syslog Syslog + TLS Syslog + TLS ログ格納 アプリ プラットフォーム Elastic Stack BOSH Release https://github.com/bosh-elastic-stack/elastic-stack-bosh-deployment
72. ログ格納 Firehose to syslog Syslog + TLS アプリはsyslogを標準出力するだけでOK ログ送信先の考慮・設定不要 アプリログ - Firehose to syslogで一括出力 Firehose to syslog Firehose to syslog Loggregator Agent Doppler STD OUT STD OUT ログ収集 Firehose to syslog https://github.com/cloudfoundry-community/firehose-to-syslog
73. ログ格納 Syslog + TLS BOSH Runtime-Configで共通的に設定 ログ送信先の個別設定不要 プラットフォームログ --- releases: - name: syslog version: "11.4.0" url: "https://bosh.io/xxx?v=11.4.0" sha1: "xxx" addons: - name: syslog exclude: jobs: - name: syslog_forwarder release: syslog jobs: - name: syslog_forwarder release: syslog properties: syslog: address: logstash.xxx.jp port: 5514 transport: tcp tls_enabled: true permitted_peer: "*.xxx.jp" ca_cert: | -----BEGIN CERTIFICATE----- ... -----END CERTIFICATE----- PAS Tile > System Logging
74. Elastic Stack BOSH運用のメリット 　スケールアップ・スケールアウト bosh -d elastic-stack deploy elastic-stack-bosh-deployment/elastic-stack.yml \ ... - -v elasticsearch_master_instances=3 \ - -v elasticsearch_master_vm_type=t2.medium \ - -v elasticsearch_master_disk_type=102_400 \ + -v elasticsearch_master_instances=5 \ + -v elasticsearch_master_vm_type=r4.xlarge \ + -v elasticsearch_master_disk_type=1_048_576 \ ... 例) スモールスタートESをスケールアップ・スケールアウト VM作成 インストール 設定更新 データ移行 切替え VM変更 DISK拡張 manifest更新 デプロイ BOSH 従来 大変... 自動化も手間... 簡単!! 随時調整可能
75. Elastic Stack BOSH運用のメリット 　バージョンアップ Elasticsearch・Kibanaの 早いアップデートサイクルに対応 6.3 2018/6 6.4 2018/8 6.5 2018/11 6.6 2019/1 6.7 2019/3 7.0 2019/4 version更新 (git pull) (設定調整) BOSH BOSH機能により ローリングアップデート 作業手順考慮不要 デプロイ サービス停止 version更新 (設定調整) サービス開始 従来 ×台数 ・・・
76. ログ参照 - Kibana 　BizDevOpsそれぞれダッシュボードを作成 Ops Dev Biz サービスの稼働状況 プラットフォームの稼働状況 アプリ・システムの稼働状況
77. Kibanaダッシュボード例 - Biz Biz 決済数 取扱高 前日比・傾向 内訳 分類 xx,xxx xxx,xxx xx,xxx,xxx,xxx x,xxx,xxx,xxx
78. Kibanaダッシュボード例 - Dev アプリ通信数 アプリ遅延状況 偏差・分布 Dev 他にもエラーログ ダッシュボードなど 加盟店 システムエラー 特定決済機関 遅延増加
79. Ops Kibanaダッシュボード例 - Ops 200 30x 40x 50x プラットフォーム エラー調査
80. ログアラート 　アプリ・プラットフォームのログアラートにより早期に異常検知 Ops Dev cf_org_name: OrgA log_level: ERROR cf_org_name: OrgA log_level: WARN @message: xxx @message: xxx cf_org_name, log_level等を キーに通知先設定 緊急アラートは Twilio架電(24時間対応) ElastAlert
81. ログアラート - ElastAlert 　query, 通知をyamlで設定 slack_webhook_url: ((slack_webhook_url)) slack_username_override: ((slack_username)) slack_channel_override: ((slack_channel_app)) slack_msg_color: danger email: "((elastalert_email))" alert_subject: "App ERROR: {0}/{3}" alert_subject_args: - "@app" - "@program" - "@message" - "cf_space_name" alert_text_type: alert_text_only alert_text: | {4} <https://kibana.sys.sbps.jp/app/kibana#/doc/8e314030-c5f2-11 e8-8d9d-115ce5373a89/{0}/{1}?id={2}|Detail> <https://kibana.sys.stg-sbps.jp/app/kibana#/dashboard/8c73b4 b0-cab3-11e8-841c-e37fd6d26b72?_g=(refreshInterval%3A(pause% 3A!t%2Cvalue%3A0)%2Ctime%3A(from%3Anow-1h%2Cmode%3Aquick%2Ct o%3Anow))|Dashboard> alert_text_args: - _index - _type - _id - "@app" - "@message" #App ERROR - type: replace path: /instance_groups/name=kibana/jobs/name=elastalert/properties ?/elastalert?/rules?/- value: name: app-error type: frequency index: *.application_log-* num_events: 1 timeframe: minutes: 10 filter: - query: query_string: query: 'cf_space_name:"staging" AND logger:jp.sbps.* AND log_level:"ERROR"' realert: minutes: 10 query_key: - cf_space_name - cf_app_name alert: - slack - email BOSH管理のためOpsが 要望を随時実装...
82. ログアラートはBizDevOps各々実装したい BizDev要望 -> Ops実装 -> BizDev確認 -> Ops調整 -> ... 手間がかかる... X-Pack Alerting：コスト・使い勝手微妙... Praeco (ElastAlert GUI) がマッチ！！ https://github.com/ServerCentral/praeco ElastAlert Praeco (ElastAlert GUI) rule.yml rule.yml GUI
83. Praeco設定イメージ 　BizDevOpsそれぞれ欲しいアラートを自分で設定 indexを選択 queryを設定 Praeco BOSH Release (WIP) https://github.com/daichi703n/praeco-boshrelease
84. Elastic Stack BOSH-Release開発への寄与 BOSH Releaseの機能拡張を随時実施している。 Elasticsearch S3バックアップ設定 [add] enable s3 snapshots https://github.com/bosh-elastic-stack/elasticsearch-boshrelease/pull/11 Kibana -> Elasticsearch冗長化設定 Support multiple elasticsearch nodes https://github.com/bosh-elastic-stack/kibana-boshrelease/pull/4 ElastAlert監視抑止Errand実装 Create silence/unsilence errands https://github.com/bosh-elastic-stack/elastalert-boshrelease/pull/4 ElastAlertメール送信対応 Add smtp_auth_file.yml & config_options https://github.com/bosh-elastic-stack/elastalert-boshrelease/pull/5
85. オブザーバブルプラットフォーム ➢ Metrics ➢ Logging ➢ Tracing 決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム
86. Tracing - Zipkin 　マイクロサービス間の通信を可視化 Service A 加盟店 X 決済機関 A API Gateway Receiver A Notification Gateway 時間 通信 可視化
87. Tracing - Zipkin 　マイクロサービス間の通信を可視化 複数のサービスに跨って、 どこの処理で時間がかかっていたか一目でわかる
88. Zipkinトレースログ収集構成 　Community BOSH-Releaseを使用・カスタマイズ トレースログ格納 Ops Dev Biz トレースログ参照 Logging用Elasticsearchを共用 Zipkin BOSH Release https://github.com/making/zipkin-boshrelease Trace Log 設定
89. オンプレ 既存アプリ 既存アプリ(PCF外)のトレースログを統合 トレースログ格納 既存チーム PCFアプリ トレースログ格納 Dev 既存アプリ 遅くない？ 確認する 既存-新規サービス間の連携部分も可視化
90. トラブル調査をシームレスに Zipkin対象Traceリンク (Kibana Index Patternで定義) Bizメンバーも 簡単に確認可能
91. オブザーバブルプラットフォーム メトリクス・ログ・トレーシングが 当たり前に提供される環境 アプリ開発・運用効率が大幅向上
92. 本日のまとめ 決済システム内製化に向けたプラットフォーム構築 - PCF・BOSHによるオブザーバブルプラットフォーム
93. 本日のまとめ ここまでの歩み • PCFを中心としたプラットフォームの導入 / 構築 • 決済システム内製 ◦ PCF・BOSHによる効率的な開発 / 運用 ◦ オブザーバブルプラットフォーム
94. 本日のまとめ これから • 新規サービスの積極収容 • ノウハウの社内展開 • プラットフォームの拡張計画
95. 本日のまとめ PCF・BOSHを活用することで、内製開発のスピード感に 合ったプラットフォームを構築することができた。 変化の激しいキャッシュレス業界において、当社のサービス 立上げを基盤から支えていきたい。 基盤は一度作ったら終わりではないため、継続的な改善を 積み上げていきたい。
96. さいごに 内製開発した決済システムは商用稼働を開始しており、これから も機能拡張を予定している。 Spring, PCFのある開発を通して加盟店/エンドユーザの方々に 高い品質のサービスを提供したい。 堅牢、安全、1件1円間違えない、 障害に強いシステムを目指して...
97. We are hiring! SBペイメントサービスは エンジニアを募集しています 興味がある方は daichi.kimura@g.softbank.co.jp まで ご清聴ありがとうございました