[完全版] あなたが自動テストを行う目的は何ですか? / what-is-your-purpose-for-performing-automated-tests

by O3(ozono)

Slide 1

Slide 1 text

[完全版]あなたが⾃動テストを⾏う⽬的は何ですか？ 2020/04/16 Ozono Hiroaki てすらぼ #1

Slide 2

Slide 2 text

30秒で⾃⼰紹介

Slide 3

Slide 3 text

なぜこんなことを話そうと思ったか

Slide 4

Slide 4 text

なぜこんなことを話そうと思ったか https://qiita.com/ozhiro/items/5aa95c6360a8930df325

Slide 5

Slide 5 text

どんな⼈に向けての話なのか - これから自動テストやりたい人 - 今自動テストやってて悩んでいる人 - 部下に自動テストやらせたい偉い人

Slide 6

Slide 6 text

どんな⼈に向けての話なのか上司から「⾃動テストやってみてよ」って丸投げされたあなた、無⾔でこのスライド(Qiita)のリンクぶん投げてあげてください

Slide 7

Slide 7 text

注意点 - 自動テスト == E2EのUIテスト。ブラウザやエミュレーター、実機などをプログラムで操作して行うテストとして定義しています - こうやって失敗した、という経験のシェアを趣旨としています - 私の所属する組織は開発組織とQA組織が独立しています - ちゃんと関係者の許可もらってるよ！

Slide 8

Slide 8 text

導⼊編自動テストを実装し始める前に考えておいた方がいいこと

Slide 9

Slide 9 text

それは… あなたが⾃動テストを⾏う⽬的はなんですか？

Slide 10

Slide 10 text

実際に周りで聞いたことがある例 - プログラミングを仕事にしたいから - テスト自動化エンジニアになりたいから - 他ではやってるから - 手動テストのコストを減らしたいから - 手動テスターの負担を減らしたいから

Slide 11

Slide 11 text

実際に周りで聞いたことがある例 - プログラミングを仕事にしたいから - テスト自動化エンジニアになりたいから - 他ではやってるから - 手動テストのコストを減らしたいから - 手動テスターの負担を減らしたいからキャリアコスト

Slide 12

Slide 12 text

わたしの場合当時の上司キャリア当時のわたしコスト

Slide 13

Slide 13 text

共通すること⾃動テストをすることでプロジェクト・サービスをどう良くしたいのかという観点がない

Slide 14

Slide 14 text

⼿段の⽬的化 - キャリアに関する観点は手段の目的化になっている - 動機としては悪くないと思う - プロジェクトが利益を得られるよう、上司が誘導してあげるべき

Slide 15

Slide 15 text

⼿段の⽬的化 - 実装を担当する部下はプログラムを書くこと自体が楽しくて楽しくてしょうがない状態になるかも - 自動化ハイなんてよく言われます

Slide 16

Slide 16 text

⼿段の⽬的化 - あなたたちの目的は自動テストを書くことですか？サービスをよくすることでしょう？ - 当時のわたしと当時の上司に1000回くらい言ってあげたいです

Slide 17

Slide 17 text

コストの削減⾃動テストで⼈的コストを削減することは⾄難のわざです

Slide 18

Slide 18 text

コストの削減 - 局所的に切り取ればいくらでも良く見せることは可能 - わたし自身丸4年で人的コスト減らせた！という実績はない - むしろ増えてる場合も多い

Slide 19

Slide 19 text

コストの削減 - コストは増えても別にいいんです。自動テストをやる目的が別であれば - ただし、コスト削減が目的になっていると…茨の道を通る可能性が

Slide 20

Slide 20 text

コストの削減 - UIの自動テスト自体が一般的にコストが高いと言われている - コストが高いもの(自動テスト)でコストが高いもの(手動テスト)のコストを削減する…ハードな匂いが

Slide 21

Slide 21 text

結果的にどうなったか見事に燃え尽きた

Slide 22

Slide 22 text

どうするべきだったのか - 手動テストでカバーできていない部分を自動テストでカバーして、ユーザー体験をよりよくしたい。 - 本番環境で起きるサービスの障害を自動テストでひとつでも減らし、機会損失を減らしたい。 - 開発のライフサイクルを改善するために自動テストを活用して、エンジニアがもっと仕事しやすい環境を作りたい。こんな目的持ってたらどうだったでしょうか？

Slide 23

Slide 23 text

⾃動テストの守備範囲開発のためビジネスのため

Slide 24

Slide 24 text

ちなみに - 同僚からどうやってコスト意識から抜け出せたのか？と質問をもらいました - 外の世界を知った、というのが一番大きかったと思います - おすすめはこれ https://www.amazon.co.jp/dp/B00IE3B522

Slide 25

Slide 25 text

次に運⽤編⽬的の次に⼤事だと思っていること →いかに⾃動テストを運⽤していくかということ →使⽤する⾔語やソフトウェアはその次でいい

Slide 26

Slide 26 text

失敗したときどうなるか考えていますか？ - 初めての試み、挑戦的な取り組みに失敗はつきもの - 大事なのは失敗しないことではなく、失敗しても大丈夫なように準備しておくこと(自動テストに限った話ではない)

Slide 27

Slide 27 text

失敗したときどうなるか考えていますか？ - 早く成果を出したいからと焦っていませんか？ - 精査せずにいきなり自動テスト書き始めてませんか？ - これが初めてのチャレンジなら要注意

Slide 28

Slide 28 text

失敗したときどうなるか考えていますか？ - もしなにも考えずに始めて失敗してしまった場合、逆にコストがかかったりプロジェクトがうまく回らなくなったり、といった弊害が出ることもあります。

Slide 29

Slide 29 text

失敗したときどうなるか考えていますか？ - 逆に言えば、ある程度リスクを考慮しておけばいいだけの話です。 - 私と同じ失敗をみなさまがしませんように…

Slide 30

Slide 30 text

周りの⼈たちを巻き込めていますか？閉じた場所で、限られた⼈だけで議論をしていませんか？

Slide 31

Slide 31 text

周りの⼈たちを巻き込めていますか？ - テスト自動化を組織立ててやることは、ひとつのサービスを作ることと同様の大変さがあります。 - 開発チーム or QAチームなどに議論が閉じてしまってはいませんか？

Slide 32

Slide 32 text

周りの⼈たちを巻き込めていますか？ - それなりの実装コストとメンテナンスコストがかかることをプロジェクト全員から理解を得ましょう - とりあえずやってみたい、勉強タスクとしてやらせたい、の結果、儚く消えていく例を何度も見てきました…

Slide 33

Slide 33 text

それ、本当にやる必要ありますか？ - 開発エンジニア未経験から自動テストに取り組む場合で特に見てきた例 - プログラム勉強したいからという理由でスクリプトをスクラッチから書こうとする例をよく見てきました。

Slide 34

Slide 34 text

それ、本当にやる必要ありますか？ - それってすでにOSSでないですか？ - それってすでにベンダーさんがサービスとして提供してないですか？ - もちろん様々な理由から自分で作らないといけないことはあると思います

Slide 35

Slide 35 text

まとめ⽬的って⼤事

Slide 36

Slide 36 text

最後にじゃあ今の私の⽬標は？

Slide 37

Slide 37 text

最後に DX(Developer eXperience)の向上

Slide 38

Slide 38 text

最後にテスト⾃動化エンジニアがE2Eのテストスクリプトを書いて、メンテするだけの時代はもう終わる →それって本当にテスト⾃動化エンジニアみたいな専⾨職必要？ →プログラム書かなくてもE2Eのテストできるツールいっぱいあるんじゃないの？

Slide 39

Slide 39 text

最後にじゃあテストに関わる部分で、⾃動テストのスクリプトを書くだけじゃなくて、サービス開発がもっとしやすくなるお⼿伝いしたらどうかな？

Slide 40

Slide 40 text

最後に Making testable-infrastructure - Motivation - Develop branchにおいて⾃動テストがバグを⾒つけたとしても、サービス開発者へのフィードバックは早くない - もうすでにDevelop branchへたくさんのPull requestが取り込まれたあとかもしれない - その場合、どれが影響したのか⾒つけるのが⾟い - そもそもPull request取り込まれたの先週だし内容覚えてない。。 - E2Eテストは環境に依存してしまうケースが多い - 開発環境、QA環境で⾃動テストを⾏なっていると、予期せぬデータの操作・変更が⾃動テストに影響してしまい、結果⾃動テストが不安定になってしまう