開発エンジニアとQAエンジニアが語る夜（Datalizer編）〜僕がいちばんDatalizerをうまく使えるんだ！〜

update Copyright © 2021 WingArc1st Inc. All Rights Reserved. December
17, 2021 開発エンジニアとQAエンジニアが語る夜（Datalizer編）～僕がいちばんDatalizerをうまく使えるんだ！～

page No. 2 Copyright © 2021 WingArc1st Inc. All Rights
Reserved. 01 自動テスト構築までの道のり 02 Datalizerの自動テスト 03 開発プロセス 04 質問タイム INDEX

Reserved. Dr.Sum Datalizerの歩み 2001 2006 2012 2017 2021 Excel Addin Web版 Datalizer誕生順調に売り上げを伸ばし要望を取り込み、どんどん機能を増やしていく Ver.4.0 Ver.5.0 Cloudサービス for Excel for Web

Reserved. 開発の進捗が遅滞していき、プロセスが段々回らなくなる • 当初スピード感のあった開発も • ソースの肥大化などにより見晴らしが悪化 • 他の機能に影響しやすくなる • 機能を追加する度に組み合わせが増えていき複雑に Ver.4.0~ 2012年頃から (´・ω・`) デグレードリスク増大

Reserved. 開発スピードを下げずに、品質を担保するやりたいこと  テストを即座に実行できる  テスト・アセットの作成が容易である  大量かつ高速にテストが出来る  テストを即座に実行できる  テスト・アセットの作成が容易である  大量かつ高速にテストが出来る集計表(レポート)のオブジェクトを比較すればいける？保存したオブジェクト保存したオブジェクト実行したオブジェクト＝

Reserved. 結果無理でした

Reserved. オブジェクトでは、集計表の色や配置など詳細な属性を持っている反面 ×少しの修正で直ぐにdiffが発生する ×テスト・アセットの妥当性の検証にコストがかかる（視認性の問題) ×diffが遅い。オブジェクトサイズやXMLの比較。反省と再出発  1つの自動テストですべてをカバーするのは、そもそも無理がある  製品にとって一番大事なことは集計表の数値やレイアウト集計表をCSV形式で出力しdiffする方式に変更

Reserved. CSV比較の自動化テストの成功（パラメータテスト）保存した (正しい結果) CSV 保存した (正しい結果) CSV 実行結果の CSV ＝  オブジェクトと違い基本diffはでない。diff出てたらテストNG。  可読性が高い。差異の箇所がdiffツールなどで簡単に分かる。  テスト・アセットのメンテナンスが容易。機能追加などによりdiffが出た場合でも、保存したCSVを実行結果のCSVに置き換えるだけ。  テスト実行が早い。1実行で数百ミリ秒、多重化も容易。開発、QA合同でテスト・アセットを作成していく

Reserved. 実感した最大の効果リグレッションテストが、いつでも行えるという安心感リファクタリングを積極的に行う意識改革

Reserved. 学んだこと • デメリットばかりに着目しない。目的を達成できるかを優先。 • 初めから100点を目指さない。小さく入れて大きく育てる。 • 失敗は当たり前、トライ＆エラーで進めていく。

Reserved. 2017年 Ver.5.0～自動テストの拡充 QA部門と協同し、さらなる自動テストのエリアを拡大 Ver.5.0の2つのチャレンジ • Excel UIのリコーディング：過去の互換性を担保するためにテストの整備が急務 • Web UIの刷新： Ver.4.2より自動化を一部試行していたが新UI層からのテスト自動化を整備パラメータテスト (随時拡張) Web 新UIでのテスト数の拡大 ExcelUIリコーディング Excel操作テスト Excel UIリコーディング Unitテスト Seleniumベース E2E Tests API Tests, Integration Test Unit Tests

Reserved. 開発もQAも開発しテストするプロダクトの品質確保・向上させる思いは、開発もQAも同じ。お互いの得意分野で貢献する。開発 •ユニットテスト作成 •Excel リボン操作開発 •パラメータテスト強化 •テスト・アセット作成 •手動テスト QA •Web UIテスト開発 •Excel 自動テスト開発 •テスト・アセット作成 •手動テスト

Reserved. Web Excel UI API Server Datalizerの構成と自動テスト Windows/Linux OS Datalizer 製品連携用 API Tablet PDF出力 tomcat Client アプリ Selenium ：26,645ケース（4,280シナリオ） Excel速度評価：46ケースブラウザ描画：138ケース Excel UnitTest ：1,728ケース、3,621定義パラメータテスト：3,835ケース製品連携用APIテスト：1,033ケース JMeter非機能検証：498ケース構成自動テスト集計実行 API

Copyright © 2021 WingArc1st Inc. All Rights Reserved. 1. パラメータテスト
Copyright © 2021 WingArc1st Inc. All Rights Reserved. Web Excel UI API Server Datalizer 製品連携用 API Tablet PDF出力 Client アプリ Selenium ：26,645ケース（4,280シナリオ） Excel速度評価：46ケースブラウザ描画：138ケース Excel UnitTest ：1,728ケース、3,621定義パラメータテスト：3,835ケース製品連携用APIテスト：1,033ケース JMeter非機能検証：498ケース集計実行 API

page No. パラメータテスト集計実行時に指定されたパラメータのファイル集計結果を比較パラメータテストツールたくさんのケースを高速に！

page No. パラメータテストの比較対象パラメータファイル結果表の行列数行列集計項目の値アイコン、書式などの付加情報

page No. パラメータテスト実施方法 ①テスト対象バージョンを指定してジョブ実行 ②指定されたバージョンのバイナリとテストをPULL ③パラメータテストを実行 ④パラメータテスト実行結果を Teamsに通知
ケース数 3,835 Jenkinsのノード数 1 並列数 8 実行時間 15分

Copyright © 2021 WingArc1st Inc. All Rights Reserved. 2. JMeter（素性能測定、多重性能測定、ロングランテスト）
Copyright © 2021 WingArc1st Inc. All Rights Reserved. Web Excel UI API Server Datalizer 製品連携用 API Tablet PDF出力 Client アプリ Selenium ：26,645ケース（4,280シナリオ） Excel速度評価：46ケースブラウザ描画：138ケース Excel UnitTest ：1,728ケース、3,621定義パラメータテスト：3,835ケース製品連携用APIテスト：1,033ケース JMeter非機能検証：498ケース集計実行 API

page No. JMeter（素性能測定、多重性能測定、ロングランテスト）共通事項 • HTTP Requestを使って、集計リクエストを実行 • DBの処理を極小化するためにDB側はキャッシュを利用している素性能測定
• 集計表サイズ、定義種類、集計方法毎の速度評価を実行多重性能測定 • 素性能測定から一部の集計を抜粋して、並列数を1, 5, 10, 25, 50で実行ロングランテスト • 多重性能測定の並列数50を無限ループで1週間連続実行 • GCログの設定を行い、ヒープのリークがないことを確認している

Copyright © 2021 WingArc1st Inc. All Rights Reserved. Datalizer for
Web and Datalizer for Excel 3. E2E自動テスト Copyright © 2021 WingArc1st Inc. All Rights Reserved. Web Excel UI API Server Datalizer 製品連携用 API Tablet PDF出力 Client アプリ Selenium ：26,645ケース（4,280シナリオ） Excel速度評価：46ケースブラウザ描画：138ケース Excel UnitTest ：1,728ケース、3,621定義パラメータテスト：3,835ケース製品連携用APIテスト：1,033ケース JMeter非機能検証：498ケース集計実行 API

page No. このようなスクリプトで

Reserved. ExcelとWebを操作するテストツール

Reserved. おもな技術要素 • ツールエンジン Java • ブラウザ操作 Selenium WebDriver • Excel操作 Appium +WinAppDriver

Reserved. 総テスト件数ケースは全部で26,645件 10並列で実行して3日くらい画面の操作は時間がかかる…

Reserved. 比較系 • Datalizer開発者が作った、必要なものだけ比較する高精度の比較ツール Excelはオリジナル比較ツール • V4互換UIはスタイルの影響が大きいので数値とタグ主体の比較 • 標準UIは画面サイズでHTMLが変わるので範囲指定取得 HTMLはスクレイピング • 画像化して比較するツール PDFは SVFのツール

Reserved. ネイティブUIとWebUI

page No. TestRunnerGrid hub browser nodes DB テスト対象 ①テストスクリプト取得 ②テスト実行指示
③分散実行指示アプリ更新 ④それぞれでテスト実行

Reserved. Grid前 Grid後

Reserved. 統合前統合後

Reserved. 結果をDBにまとめたので多角的に分析できる環境依存のあるスクリプトかもしれない？エラーになったスクリプトの実行履歴を確認してエラーを起こしがちかどうかの確認

Reserved. 仕組みを作ってから35708回のテスト実行がされていました

Reserved. 集計表のスタイルが変わってた荒れ狂う結果差異の嵐 Failed Failed Failed Failed Failed Failed Failed Failed Failed Failed

Reserved. 集計表のスタイルが変わってた修正範囲をそこだけにしたビルドをもらって結果置き換えを行いました develop private/結果差異ブランチ

Reserved. 自動テストフレームワークの契約料金が高いから無料のに変えてほしい遅くなった！アプリ落ちる！

Reserved. 自動テストフレームワークの契約料金が高いから無料のに変えてほしい開発チーム＆保守チームに協力してもらって直した経験・知識の積み上げが全然違いました

Reserved. 結果表調整の修正をしたとき開発チームとQAチームで全力

Reserved. 4. Excel自動テスト 4-1. Datalizer for Excelユニットテスト 4-2. ExcelPluginの自動テスト 4-3. Excel比較ツール Web Excel UI API Server Datalizer 製品連携用 API Tablet PDF出力 Client アプリ Selenium ：26,645ケース（4,280シナリオ） Excel速度評価：46ケースブラウザ描画：138ケース Excel UnitTest ：1,728ケース、3,621定義パラメータテスト：3,835ケース製品連携用APIテスト：1,033ケース JMeter非機能検証：498ケース集計実行 API

Copyright © 2021 WingArc1st Inc. All Rights Reserved. 4-1. Datalizer
for Excel ユニットテスト Copyright © 2021 WingArc1st Inc. All Rights Reserved. Web Excel UI API Server Datalizer 製品連携用 API Tablet PDF出力 Client アプリ Selenium ：26,645ケース（シナリオ） Excel速度評価：46ケースブラウザ描画：138ケース Excel UnitTest ：1,728ケース、3,621定義パラメータテスト：3,835ケース製品連携用APIテスト：1,033ケース JMeter非機能検証：498ケース集計実行 API

page No. Datalizer for Excel のユニットテストの経緯① ▪課題・10年以上も機能が継ぎ足しされてきた製品のため、ソースが複雑化し保守性に問題があった。・Excel用ロジック、画面用ロジック、ビジネスロジックが３密になっており、
ユニットテスト化が難しかった。 ▪状況機能追加や修正による影響が読みにくく、テストは手動だった。また、影響が読みにくい分、テスト範囲も広くなりがちだった。このため、開発・検証コストが増えていく状態だった。

page No. Datalizer for Excel のユニットテストの経緯② 課題を解決するために Datalizer for Excel
5.0 のゴールはリコーディング・ユニットテスト・自動テストをセットで行い「品質の担保」と「保守性の向上」を実現すると定めた。 ※これを達成して、積極的な機能追加を可能にしたかった。結果として、リコーディング以降さまざまな機能追加ができた。・Datalizer 5.1 のExcelグラフ連携、Excelレポート機能・Datalizer 5.5 のTableEditor、MBデータソース連携・MBC と MBSF の Excelインターフェースオプション

page No. Datalizer for Excel のユニットテストのゴール QAと開発で協議して、ユニットテストのゴールは画面のリコーディングによる品質の担保として、以下の内容とした。・各操作をユニットテスト化して修正による影響を検知できること
・定義ファイルを読込・反映後、定義ファイルが変わっていないこと定義ファイル読込定義ファイル反映差異チェック

page No. 画面のリコーディングで保守性を担保するために過去のソースにとらわれず、各画面の役割を意識して、Viewとビジネスロジックを分けるようにリコーディングを進めた。・MVVM（ Model + View +
ViewModel ）のフレームワークを使用して、 Viewとビジネスロジックを分けて実装した。 →役割ごとにビジネスロジックが分けられ、各ロジックに対してユニットテストができるようになった。・枯れていたUIフレームワークを使用 →複数の言語に依存しない画面開発ができるようになった。 →画面の役割が明確になり、各画面の部品化と再利用が進んだ。

page No. 特に苦労した点 QAの方々と協力し、さまざまな定義ファイルを集めた。・検証で使用しきた定義ファイル・過去の不具合確認で使用した定義ファイル・過去バージョンから移行テスト用の定義ファイル →定義ファイルの総数：3621個これらの定義ファイルで、リコーディングした画面が従来と同じように定義ファイルへ反映できるように確認・調整を進めた。
大変だったが、これがあったので過去のソースにとらわれず、リコーディングができた。定義ファイル読込定義ファイル反映差異チェック 2000個以上の定義ファイルで差異が出たときは、つらかったです。

Copyright © 2021 WingArc1st Inc. All Rights Reserved. 4-2. ExcelPluginの自動テスト
Web Excel UI API Server Datalizer 製品連携用 API Tablet PDF出力 Client アプリ Selenium ：26,645ケース（4,280シナリオ） Excel速度評価：46ケースブラウザ描画：138ケース Excel UnitTest ：1,728ケース、3,621定義パラメータテスト：3,835ケース製品連携用APIテスト：1,033ケース JMeter非機能検証：498ケース集計実行 API

page No. Excel.exeを操作したいリボン部アプリ部シート部

Reserved. Excel.exeを操作したい • Accessibility Idは自由につけれないものの名前である程度操作できるリボン部 • 通常のWindowsアプリ同様にAccessibility Idを付けてもらえば楽に操作可能アプリ部 • 行・列番号でのアクセスがかろうじて可能シート部行・列番号で書かれたテストなんて後で読めない

page No. Excel.exeを操作したい開発者にテストインターフェースを作ってもらったすごく高機能！高まる安定性！

page No. Excel.exeを操作したい自動テストFW(有償) を推されてプロト作成シート操作は無理 ExcelOperatorの発明 Excel本体の操作はすべてOperatorでできることに
自動テストFW(有償) が解約される .NET+UIAutomationで操作するFWを作成安定しなかった開発、保守チームと連携 Java+WinAppDriverで再作成シート操作などどうしても非効率な部分は製品にテストIFを実装現在に至る変遷

Copyright © 2021 WingArc1st Inc. All Rights Reserved. 4-3. Excel比較ツール
Copyright © 2021 WingArc1st Inc. All Rights Reserved. Web Excel UI API Server Datalizer 製品連携用 API Tablet PDF出力 Client アプリ Selenium ：26,645ケース（4,280ファイル） Excel速度評価：46ケースブラウザ描画：138ケース Excel UnitTest ：1,728ケース、3,621定義パラメータテスト：3,835ケース製品連携用APIテスト：1,033ケース JMeter非機能検証：498ケース集計実行 API

page No. Excel比較ツール初期中期現在セルの値だけ比較値以外のセルやシートの設定も比較グラフの設定も比較
Datalizer for Excelのリコーディング Excel比較ツールを作成

page No. Excel比較比較元のExcel セルの値が格納されているファイル初期：Excelファイルを解凍して、セルの値が格納されているファイルを比較

page No. Excel比較 0 2,000 4,000 6,000 8,000 10,000 1
2 3 4 グラフ 3 系列1 系列2 系列3 現在：値以外のセルの設定やシート毎の設定、グラフの設定を比較グラフの設定：21個セルの設定：52 ワークブック、シートの設定：30個

page No. Excel比較処理のフロー ①指定フォルダ配下の Excelファイル比較 ②ファイル毎に並列で比較処理実行 ③比較結果と差異検出した内容をファイル出力 ④差異検出の有無を返す
VBAで比較ロジックを実装 Excel比較実行ツール

Reserved. 変化したこと（１）要件定義などの上流工程で、テストの検討(テスト自動化含む)を開始  テスト計画の段階で、テストまでの作業や分担なども決まっていく。  ついでに仕様検討や操作性なども併せて議論される。  各担当などの作業量などを見ながら、お互いの作業を案分できる。要件定義開発作業テスト開発仕様策定実装ユニットテスト不具合修正 QA テスト計画テストケース作成自動テスト準備テスト・アセット作成自動テスト実行共通作業テスト実施検討自動テスト検討仕様のレビュー自動テストの実装構築などテスト実施(手動含む) テストファーストに近づいている

Reserved. ウォータフォールからの脱却開発テスト変化したこと（２）開発テスト開発テスト開発テスト開発テスト開発テスト開発テスト開発テスト昔 • デグレリスク回避のためすべての開発が完了したのちにテストフェイズに移行していた。 • 後半に重大な問題が発生した場合のリスク。テスト強化の工数増大、リリース日調整など • 機能追加などの要件変更について柔軟に対応できない。現在  開発項目毎にプロセスでテストまで実施し完結。  デグレの発生は最小限におさえて、リスク分散。  要件変更、追加開発など柔軟に対応。開発テスト開発テスト

Reserved. 構成ソース管理テスト・アセット管理開発/QA パラメータテスト (自作) チャット通知テストケース etc Jenkins インストーラー生成 BVT テストバッチ実行 Selenium

Reserved. Discordより質問ですタブレットのE2Eテストの場合、端末、OSの種類やOSバージョンのカバレッジはどの程度取られてますか？ DatalizerのタブレットインターフェースはWebアプリのため、自動テストにおける機能の確認ではPCのブラウザにて代用しています対応端末ごとの確認は手動で行っていて、サポートするOSのメジャーバージョンの単位で行っています

開発エンジニアとQAエンジニアが語る夜（Datalizer編）〜僕がいちばんDatalizer...

開発エンジニアとQAエンジニアが語る夜（Datalizer編）〜僕がいちばんDatalizerをうまく使えるんだ！〜

More Decks by Yuki Sakaguchi

Other Decks in Technology

Featured

Transcript