純国産データベースエンジンのアジャイルな開発のお話

Slide 1

Slide 1 text

Slide 2

Slide 2 text

page No. page No. 2 ソフトウェアプロセス＆品質改善部 DEQIグループ坂口祐樹 Yuki Sakaguchi • 札幌生まれ、札幌育ち、北広島在住 • Scrum Fest Sapporo 2022運営メンバー • 仕事 • Dr.Sum開発、検証一筋 • QAマネジメント • QAエンジニア • プライベート • 子供と野球練習、野球審判 • 家族とキャンプ、夜は焚き火 • 好きなもの • スープカレー

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

page No. page No. 5 Copyright © 2022 WingArc1st Inc. All Rights Reserved. 本発表について • データベース開発ってこんなやり方をしているんだ • 協力しながら開発するのは大事 • 自動テスト無いと開発できないよねお話しする内容お話ししない内容ゴール • データベース開発ってどうやっているの？ • 開発期間が⾧い製品を開発するための工夫 • スクラム関連本発表 • 質問は随時Discordでお願いします発表後に回答させていただきます

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

page No. page No. 開発プロセスの概要 Copyright © 2022 WingArc1st Inc. All Rights Reserved. システムテスト要求リリース開発KickOff 資料新製品 KickOff 仕様書検証実装コンセプトビジョン目玉機能ステークホルダーに新製品の概要をレビュー要求の積み上げを繰り返す ×N 開発フェーズ検証フェーズ KickOffからリリースまで1～1.5年

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

page No. page No. 開発リーダーチーム内の役割役割開発作業設計・仕様決め実装者 QE（SET） QA 開発チーム QAチーム検証作業 Copyright © 2022 WingArc1st Inc. All Rights Reserved. 仕様レビュー設計・仕様決め（設計・仕様決め）仕様レビュー開催仕様レビュー（設計・仕様決め）仕様レビュー仕様書作成実装検証観点レビュー検証観点レビュー開催検証観点作成検証項目作成・実施検証観点レビュー検証結果確認検証観点メモ作成組織図上の所属テストフレームワーク作成開発チーム QAチーム

Slide 12

Slide 12 text

page No. page No. 要求に対する開発プロセス・要求に対する実現方法検討・設計、仕様の考案・テスト自動化可否の確認・自動化のための機能追加・ステークホルダーに設計・仕様案を共有・検証方針を決める・QE(SET)、QA担当を決める Copyright © 2022 WingArc1st Inc. All Rights Reserved. R&D プロトタイピング仕様検討要求 KickOff 仕様作成仕様レビュー実装検証観点レビュー開発検証実施検証結果自動テスト資産システムテスト実施・観点の優先度を設定・実施フェーズを決める・仕様書作成時に実装者視点の検証のキモを記載・開発、QA以外にマニュアル、保守チームも参加・「開発フェーズで実施対象」とした検証項目・「検証フェーズで実施対象」とした検証項目開発フェーズ検証フェーズ

Slide 13

Slide 13 text

page No. page No. 品質の作り込み Copyright © 2022 WingArc1st Inc. All Rights Reserved. R&D プロトタイピング仕様検討要求 KickOff 仕様作成仕様レビュー実装検証観点レビュー開発検証実施検証結果自動テスト資産そのままリリースしても問題ない品質まで開発時に作り込む QAメンバーリリースしても問題ない品質となっていることを確認システムテスト実施開発メンバー開発フェーズ検証フェーズ開発支援・開発進捗を押し上げる・QAのナレッジ共有検証支援

Slide 14

Slide 14 text

Slide 15

Slide 15 text

page No. page No. 製品の構成 Intranet / Cloud Dr.Sum Data Funnel Dr.Sum Cloud Hub Dr.Sum Server Message Broker Funnel Server 全体 - IoT機器からのデータ取得、データ加工 - 他プロダクトへのPublish HTTP Agent Web Console Secure Transport Server Secure Transport Bridge Server モニタリング DS Script - データ投入 - データ加工 SQL - データ取得 - データ更新全体 - ユーザー管理 - サーバー管理 In-Memory Server Python連携 - AIや機械学習インメモリ永続 - データの永続化ダッシュボードアラート IoT Device CSV/JSON HTTP(S) MQTT(S) MQTT(S) MQTT Publish Command 管理ツール - EnterpriseManager - ScriptEditor Copyright © 2022 WingArc1st Inc. All Rights Reserved. HTTP(S) HTTP over TLS Secure Transport Agent クライアント端末 Enterprise Manager Web Browser

Slide 16

Slide 16 text

page No. page No. 16 Copyright © 2022 WingArc1st Inc. All Rights Reserved. 管理ツール Java, .NET JDBC, ODBC 共通内部 API UI API Server Dr.Sum Serverの構成バッチコマンド Dr.Sum Server データベースエンジン SQL DS Script ユーザー管理・システム管理インポート・エクスポート In-Memory Server 高速集計 Python連携 Dr.Sum Server DS Script - データ投入 - データ加工 SQL - データ取得 - データ更新全体 - ユーザー管理 - サーバー管理 In-Memory Server Python連携 - AIや機械学習インメモリ永続 - データの永続化管理ツール - EnterpriseManager - ScriptEditor

Slide 17

Slide 17 text

page No. page No. 17 Copyright © 2022 WingArc1st Inc. All Rights Reserved. In-Memory Serverの自動テスト管理ツール Java, .NET JDBC, ODBC 共通内部 API UI API Server バッチコマンドリグレッションテスト：30,000ケース(Google Test) 直接In-Memory Serverのライブラリを通して、 SQL実行する結合レベルのテスト UnitTest：10,000ケース(Google Test) ※Dr.Sum Serverとの合算 - In-Memoryを構成するクラスやライブラリに対する単体+αレベルのテスト - Python連携のエミュレータに対するテスト Dr.Sum Server データベースエンジン SQL DS Script ユーザー管理・システム管理インポート・エクスポート In-Memory Server 高速集計 Python連携

Slide 18

Slide 18 text

page No. page No. 18 Copyright © 2022 WingArc1st Inc. All Rights Reserved. Dr.Sum Serverの自動テスト管理ツール Java, .NET JDBC, ODBC 共通内部 API UI API Server バッチコマンド Dr.Sum Server データベースエンジン SQL DS Script ユーザー管理・システム管理インポート・エクスポート In-Memory 高速集計インメモリ永続 Python連携 E2Eテスト：1,300ケース(TestComplete) 画面からの権限制御の妥当性確認を主眼に置いたテストリグレッションテスト(コマンドバッチ) インポートなどのコマンドバッチに対するテスト API Test(Java、.NET)：3,400ケース(xUnit) 集計リクエスト結合テスト：100,000ケース(自作ツール) GUIツールからの集計リクエストを想定したテストリグレッションテスト(SQL)：80,000ケース(自作ツール) ・SQLの実行結果の妥当性確認・データ加工やバッチ処理をかけるスクリプト機能の動作確認 Dr.Sum Server開発に欠かせない命綱のような存在 Unit Test：10,000ケース(Google Test) ※In-Memory Serverとの合算 Dr.Sumを構成するクラスやライブラリに対する単体+αレベルのテスト

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

page No. page No. 21 Copyright © 2022 WingArc1st Inc. All Rights Reserved. 自動テストの実行 • 各自動テストの実行 • リグレッション(BVT)の分散実行 develop／作業ブランチのビルド • ユニットテスト、静的解析 • コンパイル、リンク • パッケージング • インストーラーイメージ作成 Bitbucketとの連携 • ビルド、自動テスト結果をBitbucketに通知 • Pull requestマージ時にWebhookを受け取って、自動でビルド Jenkinsの役割

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

page No. page No. 25 Copyright © 2022 WingArc1st Inc. All Rights Reserved. develop／作業ブランチのビルド ①ブランチをpush ②ビルドジョブ実行 ③ソースコード取得 ④ビルド／BVT ⑤ビルド／BVT結果通知 BVT(Build Verification Test: ビルド検証テスト) 新たに作成した各ビルドに対して、完全性を確認し、主要な機能性、安定性、および試験性を検証する自動化テストのセット。 Dr.Sum開発は命綱（80,000ケース）をBVTとして実施。 ISTQB Glossary(https://glossary.istqb.org/jp/term/build-verification-test-2)

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

page No. page No. 31 Copyright © 2022 WingArc1st Inc. All Rights Reserved. まとめ開発は要求単位で開発している • 要求毎にチームを作って、開発から検証まで担当 • チームは開発グループとQAグループから少なくとも1名はそれぞれ所属 • 要求は同時進行する自動テスト • 開発の命綱 • いくつものデグレードを発見する実績 CI/CD（Jenkins） • 重要な開発インフラこれなくして開発成り立たず • ビルドだけではなく、自動テストのエントリーポイント、分散実行インフラ

Slide 32

Slide 32 text

WE ARE HIRING！検証技術やValueを提供できるテストエンジニアテストの自動化(SET)や継続的テストのデジタル化(SRE)を提供できるパイプラインエンジニア開発プロセスの促進(SPI)や品質文化を組織全体に推進できる QAエンジニア Software Process & Quality Improvement Department まずはカジュアル面談から。 TwitterにDMください。

Slide 33

Slide 33 text