金融業界のデータ処理ボトルネックを突破：技術革新の旅 - 株式会社SBI BITS - TiDB User Day 2023

イベント開催日：2023年7月7日
講演者：株式会社SBI BITS　Data Consulting部 DBA　木内 祐介 氏

SBIグループの分析基盤システムは、金融部門のアナリストや管理者が過去のマーケットデータを分析し、未来の動向を予測して意思決定をするために使用されています。しかし、データ量が膨大かつ増加し続けるため、従来のDBでは性能上の課題がありました。そこで、分散型データベースのTiDBを導入することに決めました。TiDBはオンライン拡張が可能で、分析基盤システムの拡張及びリアルタイム分析のニーズに最適なソリューションと判断されました。本スライドでは、この検討に至る経緯について説明します。

アーカイブ動画：https://youtu.be/zyVLwqJYIqM

Transcript

1. 金融業界のデータ処理ボトルネックを突破 技術革新の旅
2. 会社紹介 SBI BITSは、SBIグループの金融IT 戦略の要として設立されました。 金融ビジネス領域の拡大における課 題解決の支援（コンサルティング） や、オープンソースソフトウェアを 有効活用したソフトウェア開発、 DBのパフォーマンス分析及びチュ ーニング等幅広いサービス提供を行 っています。 https://www.sbibits.com/
3. 自己紹介 木内 祐介 SBI BITS データコンサルティング部 DBAチーム所属 運用保守に関わる業務に従事 顔写真、またはイメージ
4. アジェンダ • SBIグループ内の分析基盤システムの背景と課題 • TiDBの検討経緯と採用理由 • 運用面からみたTiDBの魅力 • 実際のテストで遭遇した問題と解決 • 今後に向けて
5. 背景 •過去の膨大なマーケットデータを蓄 積し、意思決定・予測等に活用 課題 •日々増える膨大なデータ量に対し、 既存のDBが性能を発揮できていない •当局からの照会に備えた履歴データ の保存方法 SBIグループ内の分析基盤
6. 検討経緯 •TiDB v2の頃に検討を開始、多数のテストを実施 •いくつかの課題があり採用に至らず 採用理由 •TiDB v5とv6での機能拡張 •オンライン拡張やHTAPなどの 機能強化 TiDBの検討経緯と採用理由
7. • TiUPでのクラスタ全体の管理 • DashboardとGrafanaによる豊富な性能統計パネルの提供 • データの読み書きをより安定させるためのパラメータを提供 • TiDB DMやTiDB Lightningを使用し、 データ移行が簡単で速い • TiDB BR による様々なバックアップへの対応 運用面でのTiDBの魅力（1）
8. • TiDB CDCツールでデータセンター間の同期が可能 • 既存のDB利用者にも理解しやすい最適化手法 • TiFlashによる運用の簡素化、並列処理の実現 • 業界のセキュリティ認証と互換性のある、暗号化や監査 ログなどのセキュリティ機能 運用面でのTiDBの魅力（2）
9. • TiDBの問題ではないが、 PrometheusがOOMなどのエラー によりクラッシュした際、復旧 時のLog Applyに時間がかかり、 その間監視が停止する • 検証環境の用意にかかるリソー スをResource Controlを用いて解 決、複数環境を同居させ対応。 テストで遭遇した課題と解決
10. • データベース全体のサイズが今後 300TB～600TBに達することが予想 される。 • 従来のDBでは困難なサイズだが、 PingCAPの技術スタッフと協力して 挑戦していきたい。 今後の展望