オレオレkaggle開発環境に Formatter/Linter入れてみた

関西kaggler会20240301
こちらの発表をリスペクトしています。https://speakerdeck.com/ktakita1011/oreorekagglekai-fa-huan-jing
https://github.com/ktakita1011/my_kaggle_docker

本LTで作ったRepository
https://github.com/stgkrt/mypy_starter
https://github.com/stgkrt/kaggle-template

Transcript

1. オレオレkaggle開発環境に Formatter/Linter入れてみた
2. 自己紹介

3. DS/MLのコード事情
 Kaggle Notebookでデータ分析を始めるとNotebookがメインに 以下のようなケースではコードは書き捨てになり汚いと言われることも多々 ある… 　・実験を速く回すことが重要な場合 　・分析結果の図などを綺麗に出すことに注力している場合　など うっ…それじゃダメなの…？ どうすればいいの…？ データサイエンティストのコード が汚くて困っているいらすとや 風の彩度低めでシンプルで ぽっぷなエンジニア猫の絵を 生成してください 
 +
 もっとわかりやすく困っている 絵にしてください 

4. 本LTの内容
 特に下の条件に当てはまる方は 仲間だと思うので共感いただけるかもしれません • Notebook以外でPythonを書いたことが無い人 • 実験と分析でしかプログラミングしない人 • Git/GitHub、Dockerを使わない 綺麗なコードを書く人が使っているツールをお試し 自分が重視するものとは違うことを理解して気持ちを強く持つ 強情な態度で周囲の批判を無視するエンジニア猫
5. FormatterとLinter
 formatterとlinterのvscode拡張機能をお試し 機能 よく使われるツール Formatter コードがある基準に従うように自動で修正す る black, isort など Linter コードが良い書き方になっているか確認 (静 的解析)するもの flake8, mypy, ruff など (最近はruffというlinterが早いという噂ですが・・・ ) pythonでは両者ともにPEP8というコーディング規約に沿っているか確認
6. black
 PEP8に合わせてフォーマット 保存時に自動フォーマットも可能 フォーマット例) • 1行が指定した長さに収まるように改行 • , や : などの記号の前後の空白を調整
7. flake8
 PEP8のコーディング規約に沿ったコードかチェック 例) • import したのに使っていない • 空白が無駄に多い • 改行が足りていない (多すぎる) • 1行の長さが長すぎる • 未定義の変数を使用している など
8. blackとflake8を使うときの注意
 • blackは設定できる項目があまり多くない →1行の文字数だけを設定することが多い • blackでは, や : の前後に空白を入れる →PEP8では入れないことが推奨されている →flake8と競合 厳密にPEP8を遵守したいような場合でなければ 空白のエラーE203,W503はignore設定にしてもよいかも
9. mypy
 型のチェックをしてくれる。 例) • 型ヒントがつけられていない • 異なる型として再定義されている • 異なる型として扱われている • クラス内に存在しない変数の使用 • クラス内で設定した型と異なる
10. mypyの設定
 mypyには設定する項目が多数 →全てを把握するのは大変 設定項目の例) • allow_redefinition 同じスコープ内での変数の再定義を禁止 • allow_untyped_globals 型注釈がないグローバル変数の使用を禁止 • strict_optional Noneと他の型の混在を許容しない CADDiさんのTechブログが最高でした https://caddi.tech/archives/4506
11. pre-commitでgit commit時にチェック
 人はちょっと注意されたぐらいではコード修正しない pre-commitと呼ばれるgitのhook機能を利用 →commitの度checkし、強制的にコード修正
12. オレオレkaggle開発環境 with formatter/linter
 以前amaebinさんがオレオレkaggle開発環境を紹介してくださいました。 vscode devcontainerで環境構築しformatter/linterを自動インストール (vscodeのバージョンによっては自動でインストールされない場合も) フォルダを開くとkaggle dockerの コンテナで開くポップアップ devcontainer.jsonで設定した 拡張機能の自動インストール
13. GitHub Repository
 全設定をpyproject.tomlの1ファイルにまとめようとしたが失敗 (flake8がpyprojectで設定できない) →各機能に対して個別ファイルで設定 .vscode/settings.json設定する場合とdevcontainerで設定する場合でお試し https://github.com/stgkrt/kaggle-template https://github.com/stgkrt/mypy_starter
14. 最後に
 formatter/linterなるものをお試し モダンなエンジニアっぽいことができた！ 知らないことがいっぱいあるので 関連する情報をお持ちの方はぜひ教えてください！
15. Thanks !