Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Pythonを使った APIサーバー開発を始める際に 整備したCIとテスト機構 / pytho...
Search
Kazuki Higashiguchi
September 16, 2019
Technology
2
9k
Pythonを使った APIサーバー開発を始める際に 整備したCIとテスト機構 / python-api-ci-test
PyCon JP 2019で発表するAPIサーバー開発で始めるCI・テスト機構の話です
Kazuki Higashiguchi
September 16, 2019
Tweet
Share
More Decks by Kazuki Higashiguchi
See All by Kazuki Higashiguchi
Design of a Stateful system for Robust Deployment and Observability
hgsgtk
0
1.2k
A guide to joining operational work in your new DevOps team
hgsgtk
1
1.3k
HTTP Tunneling in Go
hgsgtk
0
1.3k
ブラウザ自動操作技術の深層へ、直接触れて学ぶ WebDriver と Chrome DevTools Protocol
hgsgtk
3
6.4k
HTTP Server on random available port in Go
hgsgtk
0
910
Agile Testingを夢見たテスト自動化 〜ATDDへの挑戦から始まる 1年間の試行錯誤〜 / dreaming agile testing at basebank
hgsgtk
14
7.6k
Create Go WebDriver client from scratch
hgsgtk
1
2.1k
PHPでWeb Driver Clientを自作する〜己の手でブラウザ操作自動化を完全理解する方法〜 / phpcon2021
hgsgtk
2
2.4k
振り返りを積み上げて自分たちのプラクティスとして昇華•体得していくための仕組みと考え方 / ScrumFestMikawa2021
hgsgtk
3
2.4k
Other Decks in Technology
See All in Technology
わたしとトラックポイント / TrackPoint tips
masahirokawahara
1
240
なんで、私がAWS Heroに!? 〜社外の広い世界に一歩踏み出そう〜
minorun365
PRO
6
1.1k
使えそうで使われないCloudHSM
maikamibayashi
0
160
AIを駆使したゲーム開発戦略: 新設AI組織の取り組み / sge-ai-strategy
cyberagentdevelopers
PRO
1
130
【若手エンジニア応援LT会】AWSで繋がり、共に成長! ~コミュニティ活動と新人教育への挑戦~
kazushi_ohata
0
170
事業者間調整の行間を読む 調整の具体事例
sugiim
0
510
「最高のチューニング」をしないために / hack@delta 24.10
fujiwara3
20
3.3k
サイバーエージェントにおける生成AIのリスキリング施策の取り組み / cyber-ai-reskilling
cyberagentdevelopers
PRO
2
180
生成AIの強みと弱みを理解して、生成AIがもたらすパワーをプロダクトの価値へ繋げるために実践したこと / advance-ai-generating
cyberagentdevelopers
PRO
1
170
omakaseしないための.rubocop.yml のつくりかた / How to Build Your .rubocop.yml to Avoid Omakase #kaigionrails
linkers_tech
3
680
ガバメントクラウド単独利用方式におけるIaC活用
techniczna
3
260
GitHub Universe: Evaluating RAG apps in GitHub Actions
pamelafox
0
170
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
What's new in Ruby 2.0
geeforr
342
31k
Why Our Code Smells
bkeepers
PRO
334
57k
A better future with KSS
kneath
238
17k
Embracing the Ebb and Flow
colly
84
4.4k
Become a Pro
speakerdeck
PRO
24
5k
Rails Girls Zürich Keynote
gr2m
93
13k
How STYLIGHT went responsive
nonsquared
95
5.2k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
27
4.1k
Transcript
© - BASE, Inc. X Pythonを使った APIサーバー開発を始める際に 整備したCIとテスト機構 . .
PyCon JP - @hgsgtk
© - BASE, Inc. 本⽇話すこと https://pycon.jp/ /sessions CIでのコード検査‧⾃動テストを取り上げます。
© - BASE, Inc. 本⽇話すこと CIによるコード検査‧⾃動テストの 開発者⾃⾝にとっての メリット を話します。 https://pycon.jp/
/sessions
© - BASE, Inc. 話すこと • 学習サイクル促進のためのCI導⼊‧⾃動 テストの考え⽅ • Pythonでのコード検査‧⾃動テスト整
備のためのキーワード • コード検査‧⾃動テストから得られる フィードバック
© - BASE, Inc. 話さないこと • CIツールの⽐較 • 詳細なCIの設定⽅法 •
テスティングフレームワークの⽐較
© - BASE, Inc. : @hgsgtk Who am I? 東⼝
和暉 ( Higashiguchi Kazuki ) Back-end Engineer (Go, PHP, Python ) BASE BANK, Inc. (BASE, Inc.) / Dev Division / Tech Lead
© - BASE, Inc. お品書き .CI‧コード検査/テストに対する捉え⽅ .CI導⼊‧コード検査 .⾃動テスト作成‧実施 .まとめ
© - BASE, Inc. お品書き .CI‧コード検査/テストに対する捉え⽅ .CI導⼊‧コード検査 .⾃動テスト作成‧実施 .まとめ
© - BASE, Inc. CI (Continuous Integration) • 継続的インテグレーション •
ビルド‧テストを頻繁に繰り返し⾏うこ とにより、問題を早期に発⾒、開発の効 率化‧省⼒化を図る⼿法
© - BASE, Inc. CIはなぜ⼊れたい?開発の効率化‧省⼒化? • エラーを⼩さな単位で早期に修正するこ とによる、修正コストの削減 • ex.
コミット単位でコンパイル‧テス ト‧静的解析 …etc
© - BASE, Inc. このトークでの捉え⽅:学習サイクル促進 • 業務開発での commit‧ pushから得 られるフィードバックを増やす
• XXX に対するフィードバック • コーディング • コード設計
© - BASE, Inc. CIで防ぎ CIに学ぶ
© - BASE, Inc. コーディングに対するフィードバック • PEP ‧PEP といったコーディン グ‧ドキュメントスタイルを守っている
か • すべてを読み込むのは⼤変‧漏れている 可能性もある • コード検査で確認し、指摘結果から学ぶ
© - BASE, Inc. コード設計に対するフィードバック • テスト、特にユニットテストを書くこと で、テスタビリティの声を聞く • テストがしやすい‧テストがしにくいの
肌感をフィードバックとして受ける • 関⼼の分離がされた疎結合なパーツが協 調するコード設計へ
© - BASE, Inc. フィードバックからすぐアクションする • テストで振る舞いを保護する • 保護されたコードの内部詳細の実装‧ コーディングを改善していく
© - BASE, Inc. お品書き .CI‧コード検査/テストに対する捉え⽅ .CI導⼊‧コード検査 .⾃動テスト作成‧実施 .まとめ
© - BASE, Inc. 背景:題材事例となるアプリケーション • DB‧外部APIへ依存するAPIサービス • エンドポイントは4つほど、⽐較的⼩さ いがビジネスロジックを持った
• ex. ⾦額計算などを⾏う
© - BASE, Inc. 様々なCIツール • 様々CI導⼊するためのツールがある • Jenkins, Travis
CI, CircleCI etc • 本資料ではCircleCIを⽤いた事例を紹介
© - BASE, Inc. CircleCI jobs 例 https://circleci.com/gh/hgsgtk/pycon -app/tree/master
© - BASE, Inc. CircleCIでのコード検査実施
© - BASE, Inc. Pythonコードスタイルチェック • pycodestyle • https://pypi.org/project/pycodestyle/ •
flake • http://flake .pycqa.org/en/latest/ • Pylint • https://www.pylint.org • autopep • https://github.com/hhatto/autopep
© - BASE, Inc. コードスタイル pycodestyle • Pythonコードスタイルガイドチェック ツール •
PEP - Style Guide for Python Code • https://www.python.org/dev/peps/pep- /
© - BASE, Inc. pycodestyleからのフィードバック • Python Codeのスタイルガイドに準拠 しているかどうかが指摘される •
「Pythonの標準的なコードが書けてい るか?」
© - BASE, Inc. Pythonドキュメントスタイルチェック • pydocstyle • https://pypi.org/project/pydocstyle/
© - BASE, Inc. pydocstyle • Pythonのdocstring規約への準拠を確 認する静的分析ツール • PEP
— Docstring Conventions • https://www.python.org/dev/peps/pep- /
© - BASE, Inc. pydocstyleからのフィードバック • “Code is read much
more often than it is written” by Guido • 「読まれるコードドキュメントが作れて いるか?」
© - BASE, Inc. Pythonコード型検査 • mypy • http://mypy-lang.org/
© - BASE, Inc. mypy • コード上の型を静的解析するツール • PEP —
Type Hints • https://www.python.org/dev/peps/pep- /
© - BASE, Inc. mypyからのフィードバック • 「型アノテーションを設定するコード‧ 設定に違反したコードが書かれていない か?」
© - BASE, Inc. CI導⼊‧コード検査のまとめ • CIツールを⽤いる • コーディングスタイル‧ドキュメントス タイル‧型検査を実施する
• それらからコーディングに対するフィー ドバックをもらう
© - BASE, Inc. お品書き .CI‧コード検査/テストに対する捉え⽅ .CI導⼊‧コード検査 .⾃動テスト作成‧実施 .まとめ
© - BASE, Inc. ⾃動テスト実施の選択肢 • テストコードを作成‧実⾏するためのテ スティングツールを利⽤する • pytest
• https://docs.pytest.org/en/latest/ • unittest • nose etc
© - BASE, Inc. pytest テストコード例
© - BASE, Inc. ⾃動テストでしたいこと • コード設計へのフィードバックを得る • 関⼼の分離がされた疎結合なパーツが 協調するコード設計か
• 既存の振る舞いを保護し、リファクタリ ングをスピーディにする
© - BASE, Inc. そのために考えること .外部環境からの隔離 .依存関係の差し替え可能なコード設計
© - BASE, Inc. そのために考えること .外部環境からの隔離 .依存関係の差し替え可能なコード設計
© - BASE, Inc. そのために考えること(1):外部環境からの隔離 • テストスコープを対象アプリケーション 内に留めたい • 対象外(ex.
外部APIなど)を含めた場 合ネットワーク状態などに依存し不安定 なテストになりうる
© - BASE, Inc. 背景:アプリケーション構造(概要) 外部 API DB HTTP REQUEST
HTTP Handler Database Access Inside API Application API Client Domain Logic
© - BASE, Inc. (補⾜)背景:アプリケーション詳説 • HTTP Handler: aiohttp •
Asynchronous HTTP Client/Server for asyncio and Python. • http://docs.aiohttp.org/en/stable/ • Database Access: sqlalchemy • The Python SQL Toolkit and Object Relational Mapper • https://www.sqlalchemy.org/
© - BASE, Inc. テスト⽤ライブラリを活⽤する 外部 API DB HTTP REQUEST
HTTP Handler Database Access Inside API Application API Client Domain Logic pytest-aiohttp • pytest plugin for aiohttp • 擬似的なリクエストを再現 • https://github.com/aio-libs/pytest- aiohttp
© - BASE, Inc. テスト⽤ライブラリを活⽤する 外部 API DB HTTP REQUEST
HTTP Handler Database Access Inside API Application API Client Domain Logic kevin /vcrpy • 実⾏されたHTTPリクエスト/レスポンス を記録‧再⽣する • https://vcrpy.readthedocs.io/en/ latest/
© - BASE, Inc. テスト⽤ライブラリを活⽤しないもの 外部 API DB HTTP REQUEST
HTTP Handler Database Access Inside API Application API Client Domain Logic
© - BASE, Inc. テスト⽤ライブラリを活⽤しないもの • データベースへの問い合わせをモックす るかどうか • たとえば、Goでは
DATA-DOG/go- sqlmock という実⾏されるSQLが期待 通りかを検証するモックを作成する⽅法 がある • https://github.com/DATA-DOG/go-sqlmock
© - BASE, Inc. モックに置き換えるかどうか • ⻑所は、テストの速度‧安定度 • ⼀⽅、短所は、統合した際に期待通り動 作するという安⼼感
• ex. SQLが本当に正しい?
© - BASE, Inc. 結果的に⾏った施策 外部 API DB HTTP REQUEST
HTTP Handler Database Access Inside API Application API Client Domain Logic • テスト⽤DBを作成する (本例ではコンテナ)
© - BASE, Inc. テスト⽤DBを作成する
© - BASE, Inc. テスト⽤DBを利⽤する ※ スキーマ‧フィクスチャ管理については時間の都合上‧‧‧
© - BASE, Inc. 「外部環境からの隔離」のフィードバック • テスト⽤ライブラリで外部環境との接点 を差し替えれる • ⼀⽅で、すべてのテストケースでこれら
で差し替えるようなコードの場合、疎結 合なコード設計になっていない可能性を ⽰唆
© - BASE, Inc. そのために考えること .外部環境からの隔離 .依存関係の差し替え可能なコード設計
© - BASE, Inc. 背景:アプリケーション構造(概要) 外部 API DB HTTP REQUEST
HTTP Handler Database Access Inside API Application API Client Domain Logic
© - BASE, Inc. 背景:アプリケーション構造(概要) 外部 API DB HTTP REQUEST
HTTP Handler Database Access Inside API Application API Client Domain Logic たとえば、HTTP Handlerのテストをするのに DB‧外部APIすべてライブラリで差し替えるの は「前準備のコスト」が⾼い
© - BASE, Inc. 依存関係の差し替え可能なコード設計 • 依存関係をなるべく差し替え可能へ • DI(Dependency Injection:
依存関係の 注⼊)可能な設計へ
© - BASE, Inc. DI可能にする constructorからオブジェクトを受け付ける
© - BASE, Inc. DI可能にする テスト時には仮の値を返すテストダブルに置き 換える ※ テストダブル: テスト固有の同等物(ex.
スタブ‧モック)
© - BASE, Inc. 依存関係の差し替え⼿段 • ⾃分でテスト⽤の代替クラスを作成 • モックライブラリ利⽤ •
pytest-mock • https://pypi.org/project/pytest-mock/ • spy, stub, mockが可能
© - BASE, Inc. 「依存関係の差し替え可能なコード設計」 のフィードバック • テストの前準備のコスト‧実⾏速度が、 疎結合なコード設計へ⽬を向けるきっか けへ
© - BASE, Inc. おまけ 〜⾃動テストの維持のために〜 • pytest-randomly で不安定なテストに 気づく
• https://pypi.org/project/pytest-randomly/ • 実⾏順に依存するテストは、⼀般的に不安定な テストと呼ばれる、⾃動テスト維持にはデメ リットになる Refs: “Pythonでの開発を効率的に進めるためのツール設定” at PyCon JP by @aodag さん https://www.slideshare.net/aodag/python-
© - BASE, Inc. お品書き .CI‧コード検査/テストに対する捉え⽅ .CI導⼊‧コード検査 .⾃動テスト作成‧実施 .まとめ
© - BASE, Inc. まとめ • CIを回すことで継続的なフィードバック 環境を作る • コード検査からコーディングを、テスト
からコード設計へのフィードバックをも らう
© - BASE, Inc. まとめ • コード検査‧⾃動テストなどはある種 「⾯倒だけどやったほうが良いこと」と 捉えられがち •
開発者にフィードバックをくれるものと 捉えて、「前向き」な捉え⽅をする⼀つ のアイデアでした