メタモルフィックテスティングでMBT気分

メタモルフィックテスティングでMBT 気分 @snsk

トーカーベリサーブの品質エンジニアと、R&D部門のお世話係。すごい人達がクラウドサービス開発とか技術推進とか、先端技術研究とか、いろいろやってくれてます。

メタモルフィックテスティング？ • テスト対象の入出力の突き合わせ、入出力の関係性の変化に着目してテストモデルを構成するテストのアプローチ • テストデータ x と、x を加工した x'
を入力したときに得られる y, y' の間に関係式が成立すれば、それを「メタモルフィック関係」と呼べる • テストオラクル（≒期待動作）を得にくい状況で活用できる • テストデータの自動生成、テストの自動実行がしやすい • 画像認識で活用されるケースが多いけど、本来は画像に限った話ではない

画像分類におけるメタモルフィック関係？ • 概ね、Typicalとされる画像に対して任意の画像変換をかけたとき(x')、変換前の画像の判定と信頼度が大きく変化しないことを期待動作とするケースが多い • つまり、どれぐらい意味のある変換を行うか？がポイント紅白饅頭モノクロの紅白饅頭饅頭だけグレースケール化 X
X' Y Y'

やってみた • 犬と猿とキジを見分けるモデルを作成する • この画像においては、精度0.999993で「犬」と判定するモデル

モデルこのモデル構成はkerasのCifer10の exampleに昔あったもの。いまなぜか無くなっているが、多くの画像認識のチュートリアルで未だに多く採用されている。   https://github.com/keras-team/keras /blob/master/keras/benchmarks/ker as_examples_benchmarks/cifar10_
cnn_benchmark_test.py#L39 

OpenCVチュートリアルに見る画像変換の種類 • 色変換 ◦ BGR(RGBの24bit表現) ⇔ Gray変換、BGR ⇔ HSV(色相/彩度/明度)変換 •
幾何変換 ◦ スケーリング、回転、並進、アフィン変換（並行性を保つ）、射影変換（直線性を保つ） • しきい値処理 ◦ 単純しきい値、適応的しきい値、大津の二値化 • 平滑化 • モルフォロジー変換 ◦ 膨張、収縮画像変換って他にも山ほどあると思いますが、とりま。   http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_imgproc/py_table_of_contents_i mgproc/py_table_of_contents_imgproc.html#py-table-of-content-imgproc

持ち手とユースケースから考える有効な変換種別ユーザーがお供3匹と出会うシーンにおいて「意味がありそうな」＝変換後に判定結果が変わってしまったら困りそうな変換種別を考える

メタモルフィック関係の整理オレンジ枠が意味のある   メタモルフィック関係の元ネタに  

本当は Scene: Momotaro meets a dog Distance Angle Angle Obstacle
Device: Momo Eyes Auto Focus Visual acuity 2.0 このような環境、デバイスのシミュレーションからノイズとなる要素を取り出したい。   実際、自動運転の開発では街、道路、人、モノなど現実空間のシミュレーションが盛ん。  

メタモルフィック関係の整理：テストケースクラス

メタモルフィック関係の整理：インプリ

テスト結果明度拡縮並進誤判定をした場合、accをゼロにしているので、底に張り付いているときは何かおかしい  

MBT気分の仕掛け先ほど設定したテストケースクラスをJSONのまま読み込む  

MBT気分の仕掛けテストケースクラスの   指定に従った変換画像を生成。テストデータの生成ともいえる。 

MBT気分の仕掛け先ほど生成する際にファイル名に連番を付けておいたので、そのまま読み込んで判定してグラフにプロットする。このとき、誤判定は信頼度をゼロにしておくと結果が明らかで見やすい 

ポイント • メタモルフィック関係に基づいて画像変換のスケールをいろいろ試すときに便利 ◦ MLOpsに組み込みやすいとか • メタモルフィックテスティングにおいて、少なくとも画像認識のそれにおいては、期待動作が一意に設定しやすいので、モデルベースドテストが適用しやすい • 回帰分析系のモデルにおいては、期待動作をメタモルフィック関係から導く仕組み
が必要 ◦ 例えば、不動産の売却額を求めるモデルで駅徒歩が 1分下がるごとに売値が N十万円上がる、など • 構造化テキストはYMLのほうが良かった気がする ◦ JSONだと欲しいデータへの PATHが長すぎて意味不明に

参考文献 • [1] 機械学習システムのためのメタモルフィックテスティング入門 - Qiita https://qiita.com/tokumoto/items/cd3d17cae3b099badaf6 • [2] Dwarakanath,
Anurag, et al. "Identifying implementation bugs in machine learning based image classifiers using metamorphic testing." Proceedings of the 27th ACM SIGSOFT International Symposium on Software Testing and Analysis. ACM, 2018. (https://arxiv.org/abs/1808.05353) • [3] 佐藤直人 (著), 小川秀人 (著), 來間啓伸 (著), 明神智之 (著), 「AIソフトウェアのテスト――答のない答え合わせ [4つの手法]」, リックテレコム, 2021

メタモルフィックテスティングでMBT気分

メタモルフィックテスティングでMBT気分

Shinsuke Matsuki(snsk)

More Decks by Shinsuke Matsuki(snsk)

Other Decks in Technology

Featured

Transcript