DevOpsにおけるAPIテスト

DevOpsにおけるAPIテスト  株式会社ヒューマンクレスト  マイ　マイクオン  1 

❖ 名前：マイ　マイ　クオン    ❖ 経歴  　2011 来日  　2012 横浜国立大学入学 
　2016 大学卒業  　　　　ヒューマンクレスト入社  　現在： RakAPIt PO  Profile  2 

❖ APIテストとUIテスト  ➢ APIテストとは  ➢ APIテスト vs UIテスト  ➢ APIテストタイミング 
❖ APIテスト自動化  ➢ UIテスト自動化の問題点  ➢ APIテスト自動化のメリット  ➢ APIテストで何を自動化するか  ❖ APIテストは誰のものなのか？  ❖ APIテストをデプロイメントパイプラインに組み込む  ➢ デプロイメントパイプライン  ➢ APIテスト設計・実装  ➢ CIツールに組み込む      Agenda  4 

• DevOpsの必要性  – 変化が激しい現代社会では、ソフトウェアの価値をいかに早くユーザに届けるかが大事    – DevOpsにおいてはテストの自動化は不可欠    今回はAPIテスト自動化、およびDevOpsへの導入に
ついてお話しします。  背景  6 

APIテスト  ・APIとは何か？  　アプリケーションとアプリケーションとの間でやり取りするための仕組み    マシン間の通信が効率的に行える  7 

APIテストとUIテストはそれぞれの役割があるが、重なり合うところがある。つまり、その部分はAPIテストで確認することもできるし、UIテストで確認することもできる。    APIテストで実施する時と、UIテストで実施する時を比較してみる  APIテスト vs UIテスト  APIテスト UIテスト
8 

APIテスト UIテスト難易度学習コストがかかる直感的でやりやすい実施できるタイミング APIの実装が完了したらすぐできる API及びUIがそれぞれ完成し、結合しないと実施できないテストスコープ
UIテストで実施できないケースも実施できる UIによる制限がある実施コスト実行時間が短い実行時間が長い安定性安定不安定自動化自動化しやすい自動化しにくいところがある APIテスト vs UIテスト  9 

無理矢理APIテストで確認しなくてもよく、UIテストで確認しても構わない。    システムの中には、UIテストの方がうまくテストできる側面も数多くある。  →APIテストとUIテストをうまく連携し、使い分けるのが大事  APIテスト vs UIテスト  APIテスト UIテスト 10 

BACK END  FRONT END  Coding  Unit Testing  Coding  Unit Testing 
UI Testing  APIテストタイミング  遅延リスク  バグ修正コスト  11 

BACK END  FRONT END  Coding  Unit Testing  Coding  Unit Testing 
UI Testing  API Testing  APIテストタイミング  バグ修正コスト↓  遅延リスク↓  12 

      出典：https://www.stickyminds.com/article/shift-left-approach-software-testing  APIテストタイミング  13 

UIを頻繁に変更される→UIを少し変えただけでもテストスイートを壊してしまう  例：アプリケーションの振る舞いには全く問題がないのに、チェックボックスの名前が変わっただけでテストが壊れてしまう  UIテスト自動化の問題点  テストが壊れやすい  15 

→ 誤った判断が多く下される  テストが壊れた場合には、開発チームは即座に対応しなければならない  ・テストが壊れた原因を見分けなければならない  + 紛れ込んだリグレッションの結果なのか？  + テストの問題なのか？  ・自動テストがまた通るようになるために、適切なアクションを取る 
UIテスト自動化の問題点  テストが壊れやすい  16 

テストをアプリケーションと同期させておこうと思うと、何の価値もデリバリーすることなく、大量の時間を浪費することになり得る    このことは、アプリケーション開発をしている間に留まらない。システムのユーザテストをしている間に、ユーザビリティを改善したり、綴りを訂正したりしているうちに起きるかもしれない  UIテスト自動化の問題点  テストが壊れやすい  17 

テストケースをセットアップする際、システムをテストできる状態にするために相当やりとりをしなければならないかもしれない    テストの最後には、UIを通じてテスト結果を取得することができないかもしれない  UIテスト自動化の問題点  テストが複雑になる  18 

  UIを作る際に使っているテクノロジーによってはテストできないかもしれない    UIテスト自動化の問題点  テストできない  19 

テストピラミッド  出典：https://www.mostafableu.com/blog/test-automation/  20 

APIテスト自動化のメリット  UI  APIテスト UIテスト実行時間が短い  実装がシンプル  安定性が高い  21 

「全てを自動化する必要はない」    判断材料：  + 手動テストを繰り返し行うためにどれほどの時間が費やされているか  + テストの保守に大量の時間を費やさなくても良いか    経験則：同じテストを2回繰り返したら、自動化するのが良
いようだ    APIテストで何を自動化するか？  22 

APIテストはテストチームが責任を持つという伝統的なモデルを用いることが多い    問題：  + 開発チームは変更を加えた時、テストへの影響を意識しない。テストチームが変更に気づくのはプロセスの比較的後の方になる。  →修正すべき自動テストが極めて多いため、問題発見までには時間がかかる  →開発チームは別のタスクに着手 
→修正に時間がかかる  APIテストは誰のものなのか？  24 

APIテストはテストチームが責任を持つという伝統的なモデルを用いることが多い    問題：  + 修正すべきテストに対してテストチームの負担は大きい。しかも、新しい要件に対して新しいテストも実装しなければならない  APIテストは誰のものなのか？  25 

→APIテストの開発と保守をテストチームに持たせるのではなく、開発担当、運用担当、テスターを含む DevOpsチーム全体で責任を持つ    そうすると、  + 変更を行ってから、テストで問題が発見されるまでの時間が短くなる     
APIテストは誰のものなのか？  26 

→APIテストの開発と保守をテストチームに持たせるのではなく、開発担当、運用担当、テスターを含む DevOpsチーム全体で責任を持つ    そうすると、  + 開発者が自分たちの行った変更の影響をより直接的に意識するようになる。  + 開発者がテストの観点から考えるようになることで、新しく変
更した時にテストスイートのどの部分に影響が出るかをより的確に予期できる  APIテストは誰のものなのか？  27 

❖ APIテストとUIテスト  ➢ APIテストとは  ➢ APIテスト vs UIテスト  ➢ APIテスト：スコープとタイミング 

デプロイメントパイプラインに組み込むと、大きなメリットが得られる    + フィードバックループを加速させる  開発者はテスターのところに行かなくても自動テストを実行するだけで、特定の要件を完成できたかを確認できる  →ソフトウェア開発チームの生産性が一段上に行く   
メリット  29 

デプロイメントパイプラインに組み込むと、大きなメリットが得られる    + APIテストは強力なリグレッションテストスイートとなる。  　このテストのおかげで変更を行った時にも既存　の機能を壊していないことが保証される  　また、コードのリファクタリングも簡単になる   
  メリット  30 

成果物リポジトリキャパシティステージ環境設定バイナリデプロイスモークテスト UAT 環境設定バイナリデプロイスモークテスト本番
環境設定バイナリデプロイスモークテストソースコードコミットステージコンパイルコミットテストアセンブルコード分析受け入れステージ環境設定バイナリデプロイスモークテスト受け入れテスト環境 &アプリ設定環境 &アプリ設定開発者コードメトリクスとテストの失敗を確認する   テスター自分でデプロイ運用ボタン１つでリリースレポートメタデータレポートバイナリメタデータバイナリバイナリレポートメタデータバージョンコントロールデプロイメントパイプライン  出典：継続的デリバリー　Jez Humble (著), David Farley (著), 和智右桂(訳), 高木正弘 (訳)  31 

環境設定バイナリデプロイスモークテストソースコードコミットステージコンパイルコミットテストアセンブルコード分析受け入れステージ環境設定バイナリデプロイスモークテスト受け入れテスト環境 &アプリ設定環境 &アプリ設定開発者コードメトリクスとテストの失敗を確認する   テスター自分でデプロイ運用ボタン１つでリリースレポートメタデータレポートバイナリメタデータバイナリバイナリレポートメタデータバージョンコントロールデプロイメントパイプライン  APIテスト出典：継続的デリバリー　Jez Humble (著), David Farley (著), 和智右桂(訳), 高木正弘 (訳)  35 

テストスイート作成  例：インタフェース観点  UI  　正常なデータ：受け付けて仕様通りに処理  　異常なデータ：適切なエラーメッセージを返す  HEADER BODY HEADER BODY STATUS
CODE   36 

HEADER BODY STATUS CODE   HEADER BODY Path  Query  Header
Key  Body Property  パラメータ化する箇所   それぞれのパラメータに対して、正常系と異常系のテストデータを抽出    そのデータを駆動してテストを実施  テストスイート作成  例：インタフェース観点  37 

HEADER BODY HEADER BODY STATUS CODE   Assertion  Assertion  Assertion 
スキーマ検証  テストスイート作成  例：インタフェース観点  38 

テスト対象として考える  テストスイート作成  例：インタフェース観点  39 

・テストケース作成          テストスイート作成  例：インタフェース観点  40 

CIツールに組み込む  CI/CDツール RakAPIt テスト対象テストケース実行APIを呼び出す   テスト実行開始の通知  テストケース実行状況を取得   テストケース実行状況を返却
  テストケース実行状況を取得   テストケース実行完了の通知   実行結果を返却  テスト実施  ポーリング...  リクエスト  レスポンス  41 

CIツールに組み込む  サンプルスクリプト  42 

CIツールに組み込む  Test cases Execution API  43 

CIツールに組み込む  Get Result API  44 

CIツールに組み込む  サンプルスクリプト  45 

• デモ  デモ  46 

❖ APIテスト自動化  ➢ UIテスト自動化の問題点  ➢ APIテスト自動化のメリット  ➢ APIテストで何を自動化するか  ❖ APIテストは誰のものなのか？  ❖ APIテストをデプロイメントパイプラインに組み込む  ➢ デプロイメントパイプライン  ➢ APIテスト設計・実装  ➢ CIツールに組み込む      まとめ  47 

    ご清聴  ありがとうございました！  48 

DevOpsにおけるAPIテスト

DevOpsにおけるAPIテスト

More Decks by CUONG MAI

Other Decks in Technology

Featured

Transcript