PyCon JP 2022/コーディング規約自動化 Pylintのカスタムルールを作ろう」

by atama plus

Slide 1

Slide 1 text

コーディング規約⾃動化 Pylintのカスタムルールを作ろう Takayuki Hirayama PyCon JP 2022

Slide 2

Slide 2 text

Slide 3

Slide 3 text

⾃⼰紹介 • atama plus株式会社でエンジニアをしてます • よく使う技術 ◦ Python / Django ◦ TypeScript / Angular • 興味・関⼼ ◦ ソフトウェアテスト ◦ モデリング ◦ リファクタリング 3 Takayuki Hirayama @yukihira1992

Slide 4

Slide 4 text

AIで、⼀⼈ひとりに、最短で「わかる！」を。

Slide 5

Slide 5 text

Slide 6

Slide 6 text

ⓒ 2022 atama plus Inc. この発表の概要 • こんな⼈におすすめ ◦ Linterの仕組みが知りたい ◦ Linterのルールを作りたいけど具体的な⽅法が分からない • 前提知識 ◦ Pythonの基本的な⽂法 • 今⽇のゴール ◦ Pylintがコードをチェックする動きがイメージできる ◦ 調べながら簡単なルールを⾃作できる 6 コーディング規約⾃動化: Pylintのカスタムルールを作ろう

Slide 7

Slide 7 text

Slide 8

Slide 8 text

1. Linterの基本

Slide 9

Slide 9 text

Slide 10

Slide 10 text

ⓒ 2022 atama plus Inc. Pythonの著名なLinter • flake8 ◦ F811: redefinition of unused name from line N • 同名の再定義 • black ◦ Strings: Black prefers double quotes (" and """) over single quotes (' and '’’). • ⽂字列リテラルのスタイル 10 1. Linterの基本

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

2. Pylintの仕組みとルールの作り⽅

Slide 14

Slide 14 text

Slide 15

Slide 15 text

ⓒ 2022 atama plus Inc. Abstract Syntax Tree • ソースコードを構⽂解析して⽊構造で表したデータ • 様々な種類のノードから構成される • 実⾏に不要なトークンは取り除かれる ◦ 数式のカッコや要素や引数を区切るカンマなど 15 2. Pylintの仕組みとルールの作り⽅ - ソースコードからASTへの変換 BinOp * BinOp + Name x Const 1 Const 2 ( x + 1 ) * 2 PylintはASTに対してパターンマッチを⾏う

Slide 16

Slide 16 text

Slide 17

Slide 17 text

ⓒ 2022 atama plus Inc. ソースコードからASTへの変換 17 2. Pylintの仕組みとルールの作り⽅ - ソースコードからASTへの変換注 : Pylintに合わせて標準ライブラリのastではなくastroidを使っています。 https://github.com/PyCQA/astroid BinOp * BinOp + Name x Const 1 Const 2 ソースコードの⽂字列 ASTに変換

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

ⓒ 2022 atama plus Inc. 探索で発⾒したノードの判定 • ASTWalkerはノードを発⾒するとCheckerのコールバックを実⾏する • Checkerはノードがルールに違反していないか判定する 20 2. Pylintの仕組みとルールの作り⽅ - ASTの探索 BinOp * BinOp + Name x Const 1 Const 2 ASTWalker Checker visit_binop visit_name visit_ + ⼩⽂字のノード名のコールバックを実装する対応するコールバックが無いと素通り

Slide 21

Slide 21 text

ⓒ 2022 atama plus Inc. Visitorパターン 21 2. Pylintの仕組みとルールの作り⽅ - ASTの探索 • データ構造と処理を分離するためのデザインパターン参考: Java⾔語で学ぶデザインパターン⼊⾨第3版 https://www.sbcr.jp/product/4815609801/ File - accept(Visitor) Element - accept(Visitor) Directory - accept(Visitor) FooVisitor - visit(File) - visit(Directory) Visitor - visit(File) - visit(Directory) ダブルディスパッチ構造の探索 + Elementの処理データ構造

Slide 22

Slide 22 text

ⓒ 2022 atama plus Inc. PylintのVisitorパターン 22 2. Pylintの仕組みとルールの作り⽅ - ASTの探索 • ASTWalkerが動的にChecker(Visitor)とNode(Element)を接続する参考:エキスパートPythonプログラミング改訂3版 https://tatsu-zine.com/books/expert-python-programming-3ed BinOp NodeNG Name FooChecker - visit_binop(BinOp) - visit_name(Name) BaseChecker Nodeの処理データ構造 ASTWalker 構造の探索

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

ⓒ 2022 atama plus Inc. print関数利⽤を検知するCheckerクラス 27 2. Pylintの仕組みとルールの作り⽅ - ルール違反の判定メッセージ定義メッセージ ≒ ルール visitメソッドの中で違反を判定する add_messageで違反したルールとノードを記録するメッセージ定義の詳細 : https://pylint.pycqa.org/en/latest/development_guide/how_tos/custom_checkers.html#defining-a-message

Slide 28

Slide 28 text

Slide 29

Slide 29 text

3. プラグイン化

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

ⓒ 2022 atama plus Inc. モジュール検索パスとは • インポート対象の名前を検索する対象のディレクトリのリスト • 基本的に次の3種類 ◦ ⼊⼒されたスクリプトのディレクトリ • ファイル指定が無い場合はカレントディレクトリ ◦ 環境変数 PYTHONPATH で指定されたディレクトリ ◦ インストール時に設定されるデフォルトのディレクトリ • 標準ライブラリ • site-packages • sys.pathに格納される 34 3. プラグイン化 - モジュール検索パスを設定する

Slide 35

Slide 35 text

Slide 36

Slide 36 text

ⓒ 2022 atama plus Inc. 環境変数 PYTHONPATH を設定する⽅法 • Pylintのドキュメントに書かれている⽅法 • 実⾏前に環境変数を設定する • 設定を徹底するのが難しい (特にチームに浸透させたい場合) ◦ 毎回⼿で設定する ◦ pylintをラップしたシェルスクリプトを作る ◦ direnvで環境変数を管理する 36 3. プラグイン化 - モジュール検索パスを設定する

Slide 37

Slide 37 text

ⓒ 2022 atama plus Inc. init-hook で sys.path を書き換える⽅法 • .pylintrcでinit-hookを設定する ◦ sys.pathにプロジェクトディレクトリを追加する • pylintコマンドを実⾏時に⾃動的に読まれる 37 3. プラグイン化 -モジュール検索パスを設定する Importエラーが出た場合は init-hook で sys.path の内容を出⼒してみると良い

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

4. ルール作りの実践テクニック

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

ⓒ 2022 atama plus Inc. 名前解決の課題 43 4. ルール作りの実践テクニック - 名前解決 • Pythonは何にでも別名を付けられる ◦ モジュール名 ◦ クラス名 ◦ 関数名 ◦ 変数名 • 判定ルールでは名前が指すオリジナルの定義を使いたい • 真剣に考えると代⼊を追ってシンボルテーブルを作らないといけない ◦ かなり⼤変そうシンボルテーブル : 名前と中⾝を対応付けたテーブル

Slide 44

Slide 44 text

ⓒ 2022 atama plus Inc. astroidのinference(推論)機能の紹介 44 4. ルール作りの実践テクニック - 名前解決注 : 推論に失敗する場合や推論の結果が2つ以上になる場合もある。実際に使う場合はエラー処理が必須 Inferenceは名前が指す対象を推論する astroidの強⼒な機能 Nameノードは変数名以上の情報を持っていない inferメソッドで推論すると cが数値の3を指していると分かる

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

ⓒ 2022 atama plus Inc. スタックのトップが直属のスコープスタックの状態とスコープ 52 4. ルール作りの実践テクニック - スコープの管理 If スタックスタック If スタック If スコープを作るノード⾃体をスタックに保持すると、スコープの属性を参照したい時に便利スタックのサイズはネストの数ノードが存在する ifブロックのスコープ内スタックが空 ifブロックのスコープ外ノードが複数存在するネストしたifブロックの中

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

5. まとめ

Slide 56

Slide 56 text

Slide 57

Slide 57 text

ⓒ 2022 atama plus Inc. 今⽇のまとめ • Pylintの仕組みとルールの作り⽅ ◦ VisitorパターンでASTを処理している ◦ CheckerクラスでASTの構造からルール違反を判定する • プラグイン化 ◦ モジュール検索パスへの追加が必要なので注意 • 実践テクニック ◦ 複雑な名前解決にはastroidのinferenceが便利 ◦ スタックを利⽤してスコープを管理するとコードの⾒通しが良い 57 5. まとめ

Slide 58

Slide 58 text

Slide 59

Slide 59 text

もっと知りたい⽅はこちら @atamaplus_dev プロダクト開発に関する情報発信を⾒る atama plusのニュースレターに登録