PHPでつくるインタプリタ入門 / introduction interpreter by PHP

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. 自己紹介 ● 清水陽一郎 @budougumi0617 ● BASE BANK, inc. Dev Division ○ PHP歴3ヶ月。PHP/Go/Python/AWS etc... ● コミュニティ: golang.tokyo / Go Conference運営 ● 趣味: ボルダリング/毎週ブログを書くこと ○ https://budougumi0617.github.io/ Go Conferenece

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. ● インタプリタとは？ ● インタプリタを作ると何が得られるのか？ ● 字句解析、構文解析、評価とはなにか。それぞれの役割 ● PHPUnitと型を使ったPHP7.4での実装アプローチ ● （時間が余ったら）デモ ○ https://github.com/budougumi0617/php-go ● まとめアジェンダ

Slide 5

Slide 5 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. ● インタプリタがどんな理論を使っているのか、実装方法がわかる ○ インタプリタに関わるキーワードを知っている ● tree-walking型インタプリタの処理の流れがわかる ● 他の言語のインタプリタを作るときの参考になる ○ TDDを使った漸進的なアプローチ ● 「こういう流れでやればいいのね、意外と簡単」って気分になる今日のゴール

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. ● 仕様が決まっている、かつコマンドラインツールなので練習として取り組みやすい ● 再帰処理、オートマトンや構文木と仲良くなれる ● いろいろな言語のパーサーも読めるようになる ○ [Re:VIEW] textlintのlintエラーからttインライン命令で装飾された文字列を除外する ○ https://budougumi0617.github.io/2020/01/19/textlint-ignore-tt-inlines ● 構文解析ができるようになると自前の静的解析ができるようになる ○ https://github.com/budougumi0617/layer インタプリタを作る理由

Slide 8

Slide 8 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. ● Go言語で作るインタプリタ（オライリー） ○ 原著 https://interpreterbook.com/ （未訳だが続編のコンパイラ本もある） ○ Goでオリジナル言語Monkeyのインタプリタを作る ● コンパイラ | 情報系教科書シリーズ第9巻（オーム社） ○ 学生のころの教科書だったため。今はもっといい本があるのかもしれない？ ● 低レイヤを知りたい人のためのCコンパイラ作成入門（by Rui Ueyama） ○ https://www.sigbus.info/compilerbook ○ 「9ccの本」と言ったほうが通じるかもしれない参考文献

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. 1. 字句解析（Lexical analysis） ○ 文字列をトークンに変換していく 2. 構文解析（Syntax analysis） ○ トークン→抽象構文木（AST, Abstract Syntax Tree） ○ パーサーはこのへんまでしかしない 3. 評価 ○ AST→実際に結果を評価 ○ コンパイラの場合は意味解析（Semantic analysis）してコード生成に進むインタプリタの処理の流れ

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. 再帰的下降構文解析（Recursive decent parsing） ● 直感的な構文解析方法。 ○ ボトムアップ構文解析もある。 ● 左再帰とバックトラックが入ると複雑になってくる ○ 左再帰…生成規則の左辺に自らが存在する場合の無限再帰 ○ バックトラック…複数候補があって解析失敗にしたとき、元の位置に戻って評価をやり直す

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. 構文解析の実装 ● Goの構文解析は結構難しい ○ 終端を判断するのが難しい（PHPの「;」のような目印がない） ○ 唐突に一つの式で複数の変数を宣言できる ■ x, y, z := 10, 20, 30 ● 左辺が配列になるし”var”みたいな予告がない… ○ 関数の引数も書き方にバリエーションがある ■ func Myfunc(x, y int, z string)

Slide 44

Slide 44 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. ひたすらgo/parserを移植する ● Goで実装されたGoのパーサー ○ https://github.com/golang/go/tree/master/src/go/parser ● ひたすらこれをTDDで移植していく ○ テストが通る === 移殖成功 ● 型構造もほぼ同じように移殖 ○ Goの場合はExpression, Statementの他にDeclationもある ● 例外と型アサーションで失敗に気づきやすくしておく

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. 評価の実装 ● Scopeから”add”関数の定義を探す ● 引数の”x”, “10”をScope内で評価する ○ “x”という名前の変数の定義を探す ○ “10”はIntegerオブジェクトとして評価 ● 評価した引数を使って”add”関数を実行 add(x, 10) というような関数呼び出しを評価する場合

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. ● 思っていたより固く書けてよかった ○ （私のプログラミング経歴がC/C++/Java/C#/Goらへんが通っているので） ● 標準ライブラリだけで実装できている ○ （テストではPHPUnitを用いている） ● PhpStormでゴリゴリ書いていると楽しい ● array使い始めると型情報が欠落してしまうのどうにかならないかな… PHPでインタプリタを実装してみて

Slide 65

Slide 65 text

Slide 66

Slide 66 text

© 2012-2019 BASE, Inc. © 2012-2020 BASE, Inc. ● 足し算の結果を出力するところまではできました（やや無念） ○ https://github.com/budougumi0617/php-go ● インタプリタの基本的な処理とその役割を説明 ○ 字句解析、構文解析、評価 ● PHPUnitと型を使ったPHP7.4での実装アプローチ ○ TDDでデグレを防ぎながら実装していく ○ 型を使っていると契約設計的に異常検知ができる ● 実際に作ってみてコンパイラのキモチが少し分かるようになったまとめ