⾃⼰紹介 Algorithm Engineer @ atama plus Inc. • SIerでのR&Dエンジニア、AI StartupでのCTOを経て、 2021年4⽉よりatama plusにジョイン。以降、⼀貫し てatama＋プロダクトのアルゴリズム開発に携わる。 • Like：機械学習/Deep Learning/強化学習/DDD(最近 勉強中) • Hobby：料理/LEGO 4 安 本 雅 啓 @ m y a s u m o t o
ⓒ 2022 atama plus Inc. ASTの検査: (3)ast.NodeVisitor • NodeVisitorを使った⾛査がどのような 順番に⾏われるかをみてみましょう。 30 Module body Assign Assign Name Constant Store Name BinOp Store Name Load Add Constant
ⓒ 2022 atama plus Inc. ASTの検査: (3)ast.NodeVisitor • NodeVisitorを使った⾛査がどのような 順番に⾏われるかをみてみましょう。 31 Module body Assign Assign Name Constant Store Name BinOp Store Name Load Add Constant あらゆるNodeに対して呼ばれる generic_visit関数をフック NodeVisitorが辿る 順番を確認できる
ⓒ 2022 atama plus Inc. ASTの検査: (3)ast.NodeVisitor • Moduleノードからスタートして、深さ 優先探索によって⾛査されるのが分か ります。 32 Module body Assign Assign Name Constant Store Name BinOp Store Name Load Add Constant
ⓒ 2022 atama plus Inc. 変更を加えたASTの実⾏結果 38 a = 1 b = a + 2 print(b) a = 1 b = a - 2 print(b) 正しく変換されたことが確認できました🎉 ast.unparseを⽤いると、コードに逆変換することもできます *) ただし、コメントや空⽩、空⾏などの情報はASTに変換した 段階でドロップしてしまうので、完全な逆変換ではありません。
ⓒ 2022 atama plus Inc. ⾃作linterを書いてみる • 今回は例として、importを多重に定義してしまった場合に、警告を出すような linterを書いてみようと思います。 42 import io as osio import os, csv from random import random as rand import pandas as pd from numpy.random import rand print(rand()) • randが2重に定義されてしまっている。 • このような場合、最後に定義された ものが有効となり、実⾏時に特にエ ラーは出ない。 実⾏時エラーにならないためバグを⽣み やすく、linterでチェックできるように したい！
ⓒ 2022 atama plus Inc. ⾃作linterのコード 44 class CustomVisitor(ast.NodeVisitor): def __init__(self): self.imported_module_names = set() # import済みのmodule名を格納する # import xxx 形式でのモジュールインポートをサポート def visit_Import(self, node): self._detect_duplicated_import(node) self.generic_visit(node) # from xxx import yyy 形式でのモジュールインポートをサポート def visit_ImportFrom(self, node): self._detect_duplicated_import(node) self.generic_visit(node) def _detect_duplicated_import(self, node): for alias in node.names: # as句で別名をつけた場合は、その名前を格納し、そうでない場合はmodule名をそのまま⽤いる name = getattr(alias, "asname", None) if name is None: name = alias.name # 既にimport済みのmodule名と同名のmoduleをimportしようとした場合、警告を出す if name in self.imported_module_names: print(f"Duplicated import detected. name:{name}, module:{node.module} @ L{node.lineno}") self.imported_module_names.add(name) tree = ast.parse(code) visitor = CustomVisitor() visitor.visit(tree)
ⓒ 2022 atama plus Inc. 実⾏結果 45 ~/ ❯ python sample_linter.py Duplicated import detected. name:rand, module:numpy.random @ L7 code = """ import io as osio import os, csv from random import random as rand import pandas as pd from numpy.random import rand print(rand()) """ 7⾏⽬でrandが再定義されていることを 検知できている 検知対象コード 検知結果(実⾏結果)
ⓒ 2022 atama plus Inc. コード説明 46 class CustomVisitor(ast.NodeVisitor): def __init__(self): self.imported_module_names = set() # import済みのmodule名を格納する # import xxx 形式でのモジュールインポートをサポート def visit_Import(self, node): self._detect_duplicated_import(node) self.generic_visit(node) # from xxx import yyy 形式でのモジュールインポートをサポート def visit_ImportFrom(self, node): self._detect_duplicated_import(node) self.generic_visit(node) def _detect_duplicated_import(self, node): for alias in node.names: # as句で別名をつけた場合は、その名前を格納し、そうでない場合はmodule名をそのまま⽤いる name = getattr(alias, "asname", None) if name is None: name = alias.name # 既にimport済みのmodule名と同名のmoduleをimportしようとした場合、警告を出す if name in self.imported_module_names: print(f"Duplicated import detected. name:{name}, module:{node.module} @ L{node.lineno}") self.imported_module_names.add(name) 実装⽅針： ASTを辿る際に、 import済みのモジュール名を記 憶しておくことで、重複を検知 ①：NodeVisitorを継承したクラ スを作成 ②：import xxxと、from xxx import yyyは、別のノードタイ プとなるため、両⽅に対する visti関数の定義が必要 ③：as句で別名をつけた場合は、 asnameというフィードが追加 されるので、そちらを参照する 必要がある ① ② ② ③
ⓒ 2022 atama plus Inc. ⾃作testingフレームワークのコード 50 class AssertCmpTransformer(ast.NodeTransformer): def visit_Assert(self, node): if isinstance(node.test, ast.Compare) and len(node.test.ops) == 1 and isinstance(node.test.ops[0], ast.Eq): call = ast.Call( func=ast.Name( id='customized_assert', ctx=ast.Load()), args=[node.test.left, node.test.comparators[0], ast.Constant(value=node.lineno)], keywords=[] ) expr = ast.Expr(value=call) return expr return node def customized_assert(left, right, lineno): assertion_msg = None if isinstance(left, list) and isinstance(right, list): if len(left) != len(right): assertion_msg = f"length of the list is different. left:{len(left)} right:{len(right)}" else: if left != right: indexs_with_diff = [] for i, (l, r) in enumerate(zip(left, right)): if l != r: indexs_with_diff.append(i) assertion_msg = f"left:{left}, right:{right}, index {indexs_with_diff} is different" else: if left != right: assertion_msg = f"left: {left}, right: {right}" if assertion_msg is not None: print(f"Assertion Error: {assertion_msg} @ L{lineno}")
ⓒ 2022 atama plus Inc. コード説明 52 class AssertCmpTransformer(ast.NodeTransformer): def visit_Assert(self, node): if isinstance(node.test, ast.Compare) and len(node.test.ops) == 1 and isinstance(node.test.ops[0], ast.Eq): call = ast.Call( func=ast.Name( id='customized_assert', ctx=ast.Load()), args=[node.test.left, node.test.comparators[0], ast.Constant(value=node.lineno)], keywords=[] ) expr = ast.Expr(value=call) return expr return node def customized_assert(left, right, lineno): assertion_msg = None if isinstance(left, list) and isinstance(right, list): if len(left) != len(right): assertion_msg = f"length of the list is different. left:{len(left)} right:{len(right)}" else: if left != right: indexs_with_diff = [] for i, (l, r) in enumerate(zip(left, right)): if l != r: indexs_with_diff.append(i) assertion_msg = f"left:{left}, right:{right}, index {indexs_with_diff} is different" else: if left != right: assertion_msg = f"left: {left}, right: {right}" if assertion_msg is not None: print(f"Assertion Error: {assertion_msg} @ L{lineno}") 実装⽅針： assert関数を、より 詳細な情報を出⼒できる別の関数 に差し替える。 ①：NodeTransformerを継承した クラスを作成。 ②：差し替え対象が、2値間の同 値⽐較であることをチェックする (今回はそれ以外はサポートせず)。 ③：assert差し替え先のノードを 作成し、これを返す。 ④：型をチェックしてlist型なら、 詳細な情報を表⽰する。 ① ② ③ ④
ⓒ 2022 atama plus Inc. (余談)pytestにおけるASTの書き換え • pytestでも、ASTの書き換えを ⾏うことで、詳細情報を出⼒で きるようにしているようです。 53 https://github.com/pytest-dev/pytest/blob/main/src/_pytest/assertion/rewrite.py#L585
ⓒ 2022 atama plus Inc. (余談)pytestにおけるASTの書き換え • pytest-ast-back-to-pythonと呼ばれるライブラリを使うと、pytestがどのよう な変更を加えているかを⾒ることができるようです。 • pytest内で変換した後のastをunparseしてそう？ 54 https://github.com/tomviner/pytest-ast-back-to-python
ⓒ 2022 atama plus Inc. 参考にした情報 • Pythonの動作全般について • CPYTHON INTERNALS (Amazon URL) • ASTに興味を持ったきっかけの本。最初の⽅の説明は、ほぼこの本の受け売りです。 • CPythonの内部動作について、詳しく、かつ分かりやすく書かれているので是⾮。 • Static Analysis at Scale: An Instagram Story (URL) • LibCSTの開発の経緯をまとめた記事。CST/ASTの違いが分かりやすく書かれています。 • ASTについて • 公式ドキュメント (URL) • Green Tree Snakes - the missing Python AST docs (URL) • ASTを詳しく解説しており、活⽤例もいくつか掲載されている。ASTを使ったtesting frameworkの作り⽅はこのサイトの例を参考にしました。 • Learn Python ASTs by building your own linter (URL) • こちらも同じく、ASTの解説記事。linterの作り⽅の参考にさせて頂きました。 57
atamaplus
syukai
inoichan
philipschwarz
texmeijin
sanfrecce_osaka
yahiru
piyoppi
kamilahsantos
uhooi
fwbrasil
ivanova1991
ojun9
rmw
mongodb
62gerente
thoeni
hatefulcrawdad
kneath
smashingmag
kastner
vanstee
ammeep
sachag