Upgrade to Pro — share decks privately, control downloads, hide ads and more …

金融業界のデータ処理ボトルネックを突破:技術革新の旅 - 株式会社SBI BITS - TiDB User Day 2023

金融業界のデータ処理ボトルネックを突破:技術革新の旅 - 株式会社SBI BITS - TiDB User Day 2023

イベント開催日:2023年7月7日
講演者:株式会社SBI BITS Data Consulting部 DBA 木内 祐介 氏

SBIグループの分析基盤システムは、金融部門のアナリストや管理者が過去のマーケットデータを分析し、未来の動向を予測して意思決定をするために使用されています。しかし、データ量が膨大かつ増加し続けるため、従来のDBでは性能上の課題がありました。そこで、分散型データベースのTiDBを導入することに決めました。TiDBはオンライン拡張が可能で、分析基盤システムの拡張及びリアルタイム分析のニーズに最適なソリューションと判断されました。本スライドでは、この検討に至る経緯について説明します。

アーカイブ動画:https://youtu.be/zyVLwqJYIqM

PingCAP-Japan

July 11, 2023
Tweet

More Decks by PingCAP-Japan

Other Decks in Technology

Transcript

  1. 金融業界のデータ処理ボトルネックを突破
    技術革新の旅

    View full-size slide

  2. 会社紹介
    SBI BITSは、SBIグループの金融IT
    戦略の要として設立されました。
    金融ビジネス領域の拡大における課
    題解決の支援(コンサルティング)
    や、オープンソースソフトウェアを
    有効活用したソフトウェア開発、
    DBのパフォーマンス分析及びチュ
    ーニング等幅広いサービス提供を行
    っています。
    https://www.sbibits.com/

    View full-size slide

  3. 自己紹介
    木内 祐介
    SBI BITS
    データコンサルティング部
    DBAチーム所属
    運用保守に関わる業務に従事
    顔写真、またはイメージ

    View full-size slide

  4. アジェンダ
    ● SBIグループ内の分析基盤システムの背景と課題
    ● TiDBの検討経緯と採用理由
    ● 運用面からみたTiDBの魅力
    ● 実際のテストで遭遇した問題と解決
    ● 今後に向けて

    View full-size slide

  5. 背景
    ●過去の膨大なマーケットデータを蓄
    積し、意思決定・予測等に活用
    課題
    ●日々増える膨大なデータ量に対し、
    既存のDBが性能を発揮できていない
    ●当局からの照会に備えた履歴データ
    の保存方法
    SBIグループ内の分析基盤

    View full-size slide

  6. 検討経緯
    ●TiDB v2の頃に検討を開始、多数のテストを実施
    ●いくつかの課題があり採用に至らず
    採用理由
    ●TiDB v5とv6での機能拡張
    ●オンライン拡張やHTAPなどの
    機能強化
    TiDBの検討経緯と採用理由

    View full-size slide

  7. ● TiUPでのクラスタ全体の管理
    ● DashboardとGrafanaによる豊富な性能統計パネルの提供
    ● データの読み書きをより安定させるためのパラメータを提供
    ● TiDB DMやTiDB Lightningを使用し、
    データ移行が簡単で速い
    ● TiDB BR による様々なバックアップへの対応
    運用面でのTiDBの魅力(1)

    View full-size slide

  8. ● TiDB CDCツールでデータセンター間の同期が可能
    ● 既存のDB利用者にも理解しやすい最適化手法
    ● TiFlashによる運用の簡素化、並列処理の実現
    ● 業界のセキュリティ認証と互換性のある、暗号化や監査
    ログなどのセキュリティ機能
    運用面でのTiDBの魅力(2)

    View full-size slide

  9. ● TiDBの問題ではないが、
    PrometheusがOOMなどのエラー
    によりクラッシュした際、復旧
    時のLog Applyに時間がかかり、
    その間監視が停止する
    ● 検証環境の用意にかかるリソー
    スをResource Controlを用いて解
    決、複数環境を同居させ対応。
    テストで遭遇した課題と解決

    View full-size slide

  10. ● データベース全体のサイズが今後
    300TB~600TBに達することが予想
    される。
    ● 従来のDBでは困難なサイズだが、
    PingCAPの技術スタッフと協力して
    挑戦していきたい。
    今後の展望

    View full-size slide