ハードウェアとソフトウェアをつなぐ全てを内製している企業の E2E テストの作り方 / How to create E2E tests for a company that builds everything connecting hardware and software in-house

登壇者名：酒井敦
登壇したイベントタイトル：Scrum Fest Mikawa 2025
登壇したイベントのURL：https://www.scrumfestmikawa.org/

Transcript

1. Copyright © Bitkey Inc. All rights reserved. ハードウェアとソフトウェアをつなぐ 全てを内製している企業の E2E テストの作り方
2. Outline Copyright © Bitkey Inc. All rights reserved. 1. whoami 2. デジタルとリアルをつなぐシームレスな 体験を提供するということ 3. ハードウェアとソフトウェアをつなげた サービスの品質保証と訪れる困難 4. 新しいテストシステムの内製 5. システムの成果から見えた今後の展望
3. Copyright © Bitkey Inc. All rights reserved. Sakai Atsushi 202407 202412 202412 株式会社ビットキーに入社 プロダクトのキャッチアップと実装改善に従事 テストシステムの内製を開始 202508 テストシステムの開発及び拡充に従事
4. Copyright © Bitkey Inc. All rights reserved. 202407 202412 202412 株式会社ビットキーに入社 プロダクトのキャッチアップと実装改善に従事 テストシステムの内製を開始 202508 テストシステムの開発及び拡充に従事
5. Copyright © Bitkey Inc. All rights reserved. デジタルとリアルをつなぐ シームレスな体験を提供するということ
6. Copyright © Bitkey Inc. All rights reserved. ビットキーの目指す、人がストレス無く色々な場所に出入り できるプロダクト • スマートロック、顔認証、会議室予約、無人受付 • エントランス、自動ドア、宅配ボックス、エレベーター、玄関 • 入る、出るという日常行為をデジタルでつなげる
7. Copyright © Bitkey Inc. All rights reserved. 「ストレス無く」という要望に俊敏に応えるには、自分たちで ソフトウェア(以下 SW)とハードウェア(以下 HW)を作る必 要があった • オフィスや家に「入る、出る」 • 実現のために SW と HW が複雑に 絡み合っている • SW と HW の開発・改善を自社内で 完結することであらゆる俊敏さを実現
8. Copyright © Bitkey Inc. All rights reserved. HW と SW をつなげたサービスの 品質保証とやがて訪れる困難
9. Copyright © Bitkey Inc. All rights reserved. 従来のテスト体制と QA チームの役割 • ユニットテストやインテグレーションテストなどはカバレッジ を気にしながら CI で自動化 • QA チームが最後の壁として品質を保証している • HW と SW を「つなげる」テストは手動(課題)
10. Copyright © Bitkey Inc. All rights reserved. シナリオテスト例 あくまで例です。実際はちょっと違ったり、細かかったりします 1. 予約作成 2. 顔認証 3. エントランスドア解錠(入室) 4. エレベーター着床指示
11. Copyright © Bitkey Inc. All rights reserved. QA チームが用意するデバイス • 顔認証デバイス • ロックデバイス • カードリーダー • etc
12. Copyright © Bitkey Inc. All rights reserved. やがて訪れるテストへの不信感と再現困難なエラー • 手動テストを充実させても、本番環境では思わぬエラーが 発生し、プロダクト品質への不信感につながる • 並列で多数のテストを同時実行など、手動で実行する ことが難しいテストも多い • HW と SW が複雑に絡み合った中で、特定状況下でしか 発生しないエラーは、手動での再現が難しい
13. Copyright © Bitkey Inc. All rights reserved. 新しいテストシステムの内製
14. Copyright © Bitkey Inc. All rights reserved. HW を絡めたテスト要件の達成と迅速に 対応するための「内製」 • テストシナリオには無数のシチュエーションが考えられる • 既存プロダクトでは対応が難しい。だから内製に挑戦する • とはいえシステムを0から構築していくのは大変で、 思ったように開発が進まなかったり、見積もりより 時間がかかる
15. Copyright © Bitkey Inc. All rights reserved. 画面の一部 実行履歴 実行結果
16. Copyright © Bitkey Inc. All rights reserved. アーキテクチャ
17. Copyright © Bitkey Inc. All rights reserved. 技術スタック UI api & executor DB
18. Copyright © Bitkey Inc. All rights reserved. 新たなテスト環境の構築と副次的に生まれるチームの協業 • 「定期的」「自動的」にテストを実行するには、それに耐えられ るテスト環境が必要。実際の入退館設備を模した環境を整備
19. Copyright © Bitkey Inc. All rights reserved. 新たなテスト環境の構築と副次的に生まれるチームの協業 • テスト環境の構築を通じて、HWチームとSWチームなど、 普段は関わらないメンバーのコラボレーションが生まれる • 半年の期間を経てようやく安定し始めたテスト環境 • ビジネス的な期待値から離れないように、 VPoT との定 期的な目線合わせ
20. Copyright © Bitkey Inc. All rights reserved. システムの成果から見えた 今後の展望
21. Copyright © Bitkey Inc. All rights reserved. テスト環境が整備され、システムが動かせるようになり、 定期的にテストを実行できるようになった • HW と SW をつないだ状態の品質保証が自動的に行われ る土台が出来上がった • QA チームの工数を削減できる展望も見えてきた • リリースサイクルの短縮にも寄与し、より俊敏なプロダクトの 改善・成長へとつながる
22. Copyright © Bitkey Inc. All rights reserved. これまでは考えられなかった高い実行頻度によって、 多くの知見が得られた • 我々のプロダクトがどう動作しているかの全体感を把握 • 定期的・自動的に動作させるためのノウハウ • エラー・バグの発見(一番大事)
23. Copyright © Bitkey Inc. All rights reserved. 真に我々のプロダクトを模した環境を構築するには、 ビル1棟まるごとテスト環境として構築する必要がある
24. Copyright © Bitkey Inc. All rights reserved. まとめ • HW と SW をつなぐ品質保証は難易度が高い • 領域ごとの QA 自動化は進んでも、全体をつなぐテストは 手動に依存 • 真に自動化された E2E テストを可能にするため、内製で システム構築 • プロダクトに関する知見蓄積やバグ・エラーの発見などの 効果が出ている • 今後はより複雑なシナリオ追加・物理環境の拡張を実施し、 持続的な品質保証を目指しつつビル一棟丸ごとテスト環境 の野望も持つ