Tweet
Tweet

Slide 1

Slide 1 text

© 2024 ANDPAD All Rights Reserved. 1 たのしいparse.y 2024/12/05 RubyWorld Conference 2024 @ydah 株式会社アンドパッド 開発本部 SWE

Slide 2

Slide 2 text

Confidential © 2024 ANDPAD All Rights Reserved. 大学卒業後、ソフトウェアの受託開発会社を経て、株式会社アンドパッ ドに入社。現在はリアーキテクティングチームに所属、大規模なRails アプリケーションのリアーキテクチャや横断的な技術課題の解決に取り 組んでいる。生まれも育ちも大阪で、大阪の地域Rubyコミュニティで あるKyobashi.rbの創設メンバー。また、大阪Ruby会議04ではチーフ オーガナイザーを務めた。近年は、Rubyのパーサージェネレーター 「Lrama」のコミッターとして、Rubyの構文解析器の改善に取り組ん でいる。 Yudai Takada (@ydah) 開発本部 SWE Profile ʛ 経 歴 2 わたしについて

Slide 3

Slide 3 text

Confidential © 2024 ANDPAD All Rights Reserved. 3 🇯🇵 2024.05.17 (Naha) RubyKaigi 2024 🇯🇵 2024.08.24 (Osaka) OsakaRubyKaigi04 (Organizing) 🌏 2024.08.31 (ONLINE) RubyKaigi 2024 followup 🇧🇦 2024.09.13 (Sarajevo) EuRuKo 2024 🇯🇵 2024.10.26 (Tokyo) Kaigi on Rails 2024 🇯🇵 2024.12.05 (Matsue) RubyWorld Conference2024 本日が2024ツアーファイナルです

Slide 4

Slide 4 text

Confidential © 2024 ANDPAD All Rights Reserved. 4 来年の6月は京都で会いましょう ؔ੢Rubyձٞ08 / KansaiRubyKaigi08 June 2025 in Kyoto

Slide 5

Slide 5 text

© 2024 ANDPAD All Rights Reserved. 現場の効率化から経営改善まで一元管理できる クラウド型建設プロジェクト管理サービス 社　内 社　外 営業 / 監督 / 設計 事務 / 管理職 職人 / 業者 メーカー / 流通 案件管理 資料 工程表 写真 報告 チャット 黒板 図面 受発注 ●ɹ●ɹ● 5 ANDPADとは

Slide 6

Slide 6 text

© 2024 ANDPAD All Rights Reserved. 6 本日のスライド

Slide 7

Slide 7 text

Confidential © 2024 ANDPAD All Rights Reserved. Q 1 parse.y を取り巻く要素を知る レキサー、パーサー、パーサージェネレーターってなんなのさ parse.y を読み解くときの取っ掛かりを得る Q 2 parse.y のたのしい歩き方を知る Q 3 ファイルの一番上から読み進めるなんてとんでもない！ 悪魔城や魔境や地獄と呼ばれることはありますが... 7 本日のトークのゴール ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 8

Slide 8 text

© 2024 ANDPAD All Rights Reserved. 8 01 イントロダクション - parse.yとその周辺 "この世のどんなものもみな 「初めて」から出発するのだから" ーー高階杞一「準備」

Slide 9

Slide 9 text

© 2024 ANDPAD All Rights Reserved. 9 構文解析器(パーサー)と字句解析器(レキサー) ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 字 句 解 析 器 構 文 解 析 器 文字列(バイト列) トークン列 抽象構文木(AST)

Slide 10

Slide 10 text

© 2024 ANDPAD All Rights Reserved. 10 構文解析器(パーサー)と字句解析器(レキサー) ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 字 句 解 析 器 構 文 解 析 器 文字列(バイト列) トークン列 抽象構文木(AST)

Slide 11

Slide 11 text

© 2024 ANDPAD All Rights Reserved. 11 字句解析器(レキサー)の役割 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 文字の並びを解析し、 意味のある最小の単位（トークン）に分解する def method_name(pa r am) puts pa r am end

Slide 12

Slide 12 text

© 2024 ANDPAD All Rights Reserved. '(' keyword_def tIDENTIFIER tIDENTIFIER ')' ... 12 字句解析器(レキサー)の役割 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 文字の並びを解析し、 意味のある最小の単位（トークン）に分解する def method_name(pa r am) puts pa r am end

Slide 13

Slide 13 text

© 2024 ANDPAD All Rights Reserved. 13 構文解析器(パーサー)と字句解析器(レキサー) ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 字 句 解 析 器 構 文 解 析 器 文字列(バイト列) トークン列 抽象構文木(AST)

Slide 14

Slide 14 text

© 2024 ANDPAD All Rights Reserved. 14 構文解析器(パーサー)の役割 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 字句解析から受け取ったトークン列が 文法的に正しいかを検査して抽象構文木(AST)を作成する def method_name(pa r am) puts pa r am end defn ar g s body fcall puts ar g s '(' keyword_def tIDENTIFIER tIDENTIFIER ')' ...

Slide 15

Slide 15 text

© 2024 ANDPAD All Rights Reserved. 15 構文解析器(パーサー)がASTを生成する様子を見る ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y ❯ r uby - - pa r se r =pa r se.y - - dump=pa r set r ee - e "p 'ͨͷ͍͠pa r se.y'" : (snip) # @ NODE_SCOPE (id: 3, line: 1, location: (1,0)-(1,23)) # +- nd_tbl: (empty) # +- nd_a r gs: # | (null node) # +- nd_body: # @ NODE_FCALL (id: 0, line: 1, location: (1,0)-(1,23))* # +- nd_mid: :p # +- nd_a r gs: # @ NODE_LIST (id: 2, line: 1, location: (1,2)-(1,23)) # +- as.nd_alen: 1 # +- nd_head: # | @ NODE_STR (id: 1, line: 1, location: (1,2)-(1,23)) # | +- st r ing: "ͨͷ͍͠pa r se.y" # +- nd_next: ruby --parser=parse.y --dump=parsetree -e "code"

Slide 16

Slide 16 text

© 2024 ANDPAD All Rights Reserved. 16 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 構 文 解 析 器 生 成 器 文法ファイル(parse.y) parse.yと構文解析器生成器(パーサージェネレーター) 構文解析器(パーサー)

Slide 17

Slide 17 text

© 2024 ANDPAD All Rights Reserved. 17 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 構 文 解 析 器 生 成 器 文法ファイル(parse.y) parse.yと構文解析器生成器(パーサージェネレーター) 構文解析器(パーサー)

Slide 18

Slide 18 text

© 2024 ANDPAD All Rights Reserved. 18 文法ファイル(parse.y) Ruby のプログラムを構文解析し、抽象構文木(AST)を生成するために必要 な規則や記号が定義されているファイル。 Ruby 3.2以前ではGNU Bison、Ruby 3.3 以降では Lramaというパーサー ジェネレータを使ってコンパイルされる。 Ruby の柔軟で複雑な文法は、このparse.yというRubyの文法の設計 図によって実現されている。Ruby は実質 parse.y (!) ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 構文解析器の設計図

Slide 19

Slide 19 text

© 2024 ANDPAD All Rights Reserved. 19 ここまでのまとめ parse.yを取り巻く要素 ● 字句解析器(レキサー)は文字列をトークンに変換する役割を担う ● 構文解析器(パーサー)はトークン列が文法的に正しいかをチェックして 抽象構文木(AST)を作成する役割を担う ● parse.y はパーサージェネレーターが構文解析器(パーサー)を作成する ための文法ファイル

Slide 20

Slide 20 text

© 2024 ANDPAD All Rights Reserved. 20 02 parse.yをはじめよう "自分の皮膚で触れた部分が世界なんですよ" ーー伊坂幸太郎「砂漠」

Slide 21

Slide 21 text

© 2024 ANDPAD All Rights Reserved. 21 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 構 文 解 析 器 生 成 器 文法ファイル(parse.y) ここからは文法ファイル(parse.y)の中の世界へ 構文解析器(パーサー)

Slide 22

Slide 22 text

© 2024 ANDPAD All Rights Reserved. 22 文法 Backus–Naur Form(BNF) exp r : NUMBER { $$ = $1; } | exp r '+' exp r { $$ = $1 + $3; } ; ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 23

Slide 23 text

© 2024 ANDPAD All Rights Reserved. 23 文法 Backus–Naur Form(BNF)とは 文脈自由文法(Context-free Grammar)を定義するのに使うメタ言語。 John Warner BackusとPeter NaurがALGOL 60というプログラミング言 語の文法定義のために考案し1959年に論文を発表した。 Backus, J.W. (1959). The syntax and semantics of the proposed international algebraic language of the Zurich ACM-GAMM Conference. IFIP Congress. https://api.semanticscholar.org/CorpusID:44764020 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 24

Slide 24 text

© 2024 ANDPAD All Rights Reserved. 24 文法 足し算を表すBNFの例 %token NUMBER % % exp r : NUMBER { $$ = $1; } | exp r '+' exp r { $$ = $1 + $3; } ; ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 25

Slide 25 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER { $$ = $1; } | exp r '+' exp r { $$ = $1 + $3; } ; 25 左辺が文法規則の名前、右辺は展開する規則 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y RHS (Right Hand Side) LHS (Left Hand Side) 文法

Slide 26

Slide 26 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER { $$ = $1; } | exp r '+' exp r { $$ = $1 + $3; } ; 26 終端記号と非終端記号 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 終端記号 (Terminal Symbol) 文法

Slide 27

Slide 27 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER { $$ = $1; } | exp r '+' exp r { $$ = $1 + $3; } ; 27 終端記号と非終端記号 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 非終端記号 (Nonterminal Symbol) 文法

Slide 28

Slide 28 text

© 2024 ANDPAD All Rights Reserved. 28 文法の解析方法 LR法における解析：シフト(shift)と還元(reduce) 「シフト(shift)」と「還元(reduce)」は、LR構文解析の基本操作。これ らを使ってLR構文解析器は入力を解析する。 ● シフト: 入力から次のトークンを読み取り、構文解析器のスタックに積 む操作 ● 還元: スタック上に積まれているトークンの並びが、ある文法規則に一 致するときに、一つの非終端記号に置き換える操作 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 29

Slide 29 text

© 2024 ANDPAD All Rights Reserved. LA LR (1) parser 29 Lrama: Pure Ruby LALR parser generator ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y Look-Ahead Left-to-right Rightmost derivation Number of tokens to Look-Ahead

Slide 30

Slide 30 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 30 最もシンプルな足し算の例 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 文法の解析方法 スタック

Slide 31

Slide 31 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 31 左辺の数値がレキサーから渡される ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 文法の解析方法 スタック 10 10

Slide 32

Slide 32 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 32 + がレキサーから渡される ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 文法の解析方法 スタック 10 + +

Slide 33

Slide 33 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 33 右辺の数値がレキサーから渡される ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 文法の解析方法 スタック 10 5 + 5

Slide 34

Slide 34 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 34 文法規則に一致したので還元 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 文法の解析方法 スタック 10 + 5

Slide 35

Slide 35 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 35 一つの非終端記号に置き換える ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 文法の解析方法 スタック expr

Slide 36

Slide 36 text

© 2024 ANDPAD All Rights Reserved. 36 LR構文解析器はどのように抽象構文木(AST)を作るのか ボトムアップで(葉から順に)組み上げていく BNFも、左辺が親、右辺が子とし て木構造で表現される。 LR構文解析器はシフトを行いなが ら、葉から順に還元を進め、抽象 構文木（AST）を構築していく。 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y Bottom-up parse tree built in numbered steps https://en.wikipedia.org/wiki/LR_parser#/media/File:Shift-Reduce_Parse_Steps_for_A*2+1.svg

Slide 37

Slide 37 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 37 BisonやLramaの抽象構文木構築のアプローチ 還元する瞬間をフックするアクションでASTを作成する ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y (Semantic) Actions

Slide 38

Slide 38 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 38 抽象構文木を作るのに必要なこと 終端/非終端記号の値へのアクセス ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 39

Slide 39 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 39 抽象構文木を作るのに必要なこと 終端/非終端記号の値へのアクセス ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y スタック 10 + 5 $1 $2 $3

Slide 40

Slide 40 text

© 2024 ANDPAD All Rights Reserved. %token NUMBER % % exp r : NUMBER '+' NUMBER { $$ = $1 + $3; } ; 40 抽象構文木を作る 親へアクションの結果を渡す ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y スタック 10 + 5 $1 $2 $3

Slide 41

Slide 41 text

© 2024 ANDPAD All Rights Reserved. exp r : sum { $$ = $1; }; sum : NUMBER '+' NUMBER { $$ = $1 + $3; }; 41 抽象構文木を作るのに必要なこと 親へアクションの結果を渡す ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 42

Slide 42 text

© 2024 ANDPAD All Rights Reserved. exp r : sum { $$ = $1; }; sum : NUMBER '+' NUMBER { $$ = $1 + $3; }; 42 抽象構文木を作るのに必要なこと 親へアクションの結果を渡す ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 43

Slide 43 text

© 2024 ANDPAD All Rights Reserved. exp r : sum { $$ = $1; }; sum : NUMBER '+' NUMBER { $$ = $1 + $3; }; 43 抽象構文木を作るのに必要なこと 親へアクションの結果を渡す ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 44

Slide 44 text

© 2024 ANDPAD All Rights Reserved. exp r : sum { $$ = $1; }; sum : NUMBER '+' NUMBER { $$ = $1 + $3; }; 44 抽象構文木を作るのに必要なこと 親へアクションの結果を渡す ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 45

Slide 45 text

© 2024 ANDPAD All Rights Reserved. exp r : sum { $$ = $1; }; sum : NUMBER '+' NUMBER { $$ = $1 + $3; }; 45 抽象構文木を作るのに必要なこと 親へアクションの結果を渡す ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 46

Slide 46 text

© 2024 ANDPAD All Rights Reserved. exp r : sum { $$ = $1; }; sum : NUMBER '+' NUMBER { $$ = $1 + $3; }; 46 抽象構文木を作るのに必要なこと 親へアクションの結果を渡す ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 47

Slide 47 text

© 2024 ANDPAD All Rights Reserved. 47 ここまでのまとめ parse.yの構造と文法 ● parse.yはBackus–Naur Form(BNF)を用いて書かれている ● 文法の解析にはシフト(shift)と還元(reduce)を使用して入力を解析する ● LR構文解析器はシフトを行いながら、葉から順に還元を進め、抽象構文 木(AST)を構築する ● 還元時に実行されるアクション内で抽象構文木(AST)を作成する ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 48

Slide 48 text

© 2024 ANDPAD All Rights Reserved. 48 03 読み解くときのポイント "旅人よ、道はない。 歩くことで道はできる" ーーアントニオ・マチャド「カスティーリャの大地」

Slide 49

Slide 49 text

© 2024 ANDPAD All Rights Reserved. 49 プログラムの海を航海するためには 地図とコンパスが必要 (さもなくばあてもなく漕ぎ続けることになる) ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 50

Slide 50 text

© 2024 ANDPAD All Rights Reserved. 50 プログラムの海を航海する道具 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y parse.yの地図を手に取り 地理的な位置関係を理解する

Slide 51

Slide 51 text

© 2024 ANDPAD All Rights Reserved. 51 文法ファイルの構造を知る 大まかなファイルの構造 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %{ / / C code %} %union { NODE * node; . . . } %token keywo r d_class "'class'" . . . %type singleton st r ings . . . % % p r og r am : top_compstmt . . . % % / / C code ヘッダ部 型の定義 終端記号の型定義 非終端記号の型定義 生成規則 ユーザー定義

Slide 52

Slide 52 text

© 2024 ANDPAD All Rights Reserved. 52 文法ファイルの構造を知る 大まかなファイルの構造 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %{ / / C code %} %union { NODE * node; . . . } %token keywo r d_class "'class'" . . . %type singleton st r ings . . . % % p r og r am : top_compstmt . . . % % / / C code ヘッダ部 型の定義 終端記号の型定義 非終端記号の型定義 生成規則 ユーザー定義

Slide 53

Slide 53 text

© 2024 ANDPAD All Rights Reserved. 53 ヘッダ部 必要なヘッダをインクルードしていたり、 マクロを定義していたり、データ構造を定義していたり ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y #include "inte r nal.h" : : #def i ne RUBY_SET_YYLLOC_FROM_STRTERM_HEREDOC(Cu r r ent) \ r b_pa r se r _set_location_f r om_st r te r m_he r edoc(p, &p - > lex.st r te r m - > u.he r edoc, &(Cu r r ent)) : : typedef st r uct pa r se r _st r ing_buffe r _elem { st r uct pa r se r _st r ing_buffe r _elem * next; long len; / * Total length of allocated buf * / long used; / * Cu r r ent usage of buf * / r b_pa r se r _st r ing_t * buf[FLEX_ARY_LEN]; } pa r se r _st r ing_buffe r _elem_t;

Slide 54

Slide 54 text

© 2024 ANDPAD All Rights Reserved. 54 文法ファイルの構造を知る 大まかなファイルの構造 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %{ / / C code %} %union { NODE * node; . . . } %token keywo r d_class "'class'" . . . %type singleton st r ings . . . % % p r og r am : top_compstmt . . . % % / / C code ヘッダ部 型の定義 終端記号の型定義 非終端記号の型定義 生成規則 ユーザー定義

Slide 55

Slide 55 text

© 2024 ANDPAD All Rights Reserved. 55 型の定義 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %union { NODE * node; ID id; int num; } union YYSTYPE { #line 25 "sample/calc.y" NODE * node; ID id; int num; #line 134 "y.tab.c" }; typedef union YYSTYPE YYSTYPE; 構文解析中に使えるさまざまな型の値を 保持できる共用体を作成する

Slide 56

Slide 56 text

© 2024 ANDPAD All Rights Reserved. 56 文法ファイルの構造を知る 大まかなファイルの構造 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %{ / / C code %} %union { NODE * node; . . . } %token keywo r d_class "'class'" . . . %type singleton st r ings . . . % % p r og r am : top_compstmt . . . % % / / C code ヘッダ部 型の定義 終端記号の型定義 非終端記号の型定義 生成規則 ユーザー定義

Slide 57

Slide 57 text

© 2024 ANDPAD All Rights Reserved. 57 記号の型定義 終端記号は %token を使って 非終端記号は %type を使って定義する ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %token tIDENTIFIER "local va r iable o r method" %token tFID "method" %token tGVAR "global va r iable" %token tIVAR "instance va r iable" %token tCONSTANT "constant" %token tCVAR "class va r iable" %token tLABEL "label" . . . %type singleton st r ings st r ing st r ing1 xst r ing r egexp %type st r ing_contents xst r ing_contents r egexp_contents st r ing_content %type wo r ds symbols symbol_list qwo r ds qsymbols wo r d_list qwo r d_list qsym_list wo r d . . .

Slide 58

Slide 58 text

© 2024 ANDPAD All Rights Reserved. 58 終端記号の型定義 %token を使用して終端記号と型情報を紐づける ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %token tIDENTIFIER "local va r iable o r method" %token tFID "method" %token tGVAR "global va r iable" %token tIVAR "instance va r iable" %token tCONSTANT "constant" %token tCVAR "class va r iable" %token tLABEL "label" 型情報 終端記号名 説明用の名前(エラーメッセージ)

Slide 59

Slide 59 text

© 2024 ANDPAD All Rights Reserved. 59 非終端記号の型定義 %type を使用して非終端記号と型情報を紐づける ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %type singleton st r ings st r ing %type st r ing1 xst r ing r egexp %type st r ing_contents xst r ing_contents %type r egexp_contents st r ing_content %type wo r ds symbols symbol_list qwo r ds %type qsymbols wo r d_list qwo r d_list qsym_list wo r d 型情報 非終端記号名

Slide 60

Slide 60 text

© 2024 ANDPAD All Rights Reserved. 60 文法ファイルの構造を知る 大まかなファイルの構造 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %{ / / C code %} %union { NODE * node; . . . } %token keywo r d_class "'class'" . . . %type singleton st r ings . . . % % p r og r am : top_compstmt . . . % % / / C code ヘッダ部 型の定義 終端記号の型定義 非終端記号の型定義 生成規則 ユーザー定義

Slide 61

Slide 61 text

© 2024 ANDPAD All Rights Reserved. 61 生成規則 BNF形式で抽象構文木(AST)を組み立てる ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y block_a r g : tAMPER a r g_value { $$ = NEW_BLOCK_PASS($2, &@$, &@1); / * % r ippe r : $ : 2 % * / } | tAMPER { fo r wa r ding_a r g_check(p, idFWD_BLOCK, idFWD_ALL, "block"); $$ = NEW_BLOCK_PASS(NEW_LVAR(idFWD_BLOCK, &@1), &@$, &@1); / * % r ippe r : Qnil % * / } ; 抽象構文木の作成

Slide 62

Slide 62 text

© 2024 ANDPAD All Rights Reserved. 62 文法ファイルの構造を知る 大まかなファイルの構造 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y %{ / / C code %} %union { NODE * node; . . . } %token keywo r d_class "'class'" . . . %type singleton st r ings . . . % % p r og r am : top_compstmt . . . % % / / C code ヘッダ部 型の定義 終端記号の型定義 非終端記号の型定義 生成規則 ユーザー定義

Slide 63

Slide 63 text

© 2024 ANDPAD All Rights Reserved. 63 ユーザー定義 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 型情報 非終端記号名 static enum yytokentype yylex(YYSTYPE * lval, YYLTYPE * yylloc, st r uct pa r se r _pa r ams * p) { enum yytokentype t; p - > lval = lval; lval - > node = 0; p - > yylloc = yylloc; t = pa r se r _yylex(p); if (has_delayed_token(p)) dispatch_delayed_token(p, t); else if (t ! = END_OF_INPUT) dispatch_scan_event(p, t); r etu r n t; } 字句解析のための関数yylex()の定義

Slide 64

Slide 64 text

© 2024 ANDPAD All Rights Reserved. 64 ユーザー定義 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y static r b_node_defn_t * r b_node_defn_new(st r uct pa r se r _pa r ams * p, ID nd_mid, NODE * nd_defn, const YYLTYPE * loc) { r b_node_defn_t * n = NODE_NEWNODE(NODE_DEFN, r b_node_defn_t, loc); n - > nd_mid = nd_mid; n - > nd_defn = nd_defn; r etu r n n; } 抽象構文木(AST)を作成するための関数定義

Slide 65

Slide 65 text

© 2024 ANDPAD All Rights Reserved. 65 プログラムの海を公開する道具 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y コンパスを使って現在地を把握し進む

Slide 66

Slide 66 text

© 2024 ANDPAD All Rights Reserved. begin_block : block_open top_compstmt '}' { r esto r e_block_exit(p, $block_open); p - > eval_t r ee_begin = block_append(p, p - > eval_t r ee_begin, NEW_BEGIN($2, &@$)); $$ = NEW_BEGIN(0, &@$); / * % r ippe r : BEGIN!($ : 2) % * / } ; 66 parse.yを読む前の準備 慣れていればよいが、一般的には読みにくい(はず) ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 67

Slide 67 text

© 2024 ANDPAD All Rights Reserved. 67 parse.yを読む前の準備 シンタックスハイライトがあると読みやすくなる ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y begin_block : block_open top_compstmt '}' { r esto r e_block_exit(p, $block_open); p - > eval_t r ee_begin = block_append(p, p - > eval_t r ee_begin, NEW_BEGIN($2, &@$)); $$ = NEW_BEGIN(0, &@$); / * % r ippe r : BEGIN!($ : 2) % * / } ;

Slide 68

Slide 68 text

© 2024 ANDPAD All Rights Reserved. 68 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y github.com/ydah/lrama-for-vscode Lrama for Visual Studio Code

Slide 69

Slide 69 text

© 2024 ANDPAD All Rights Reserved. 69 解析している様子を見る ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y ❯ r uby - - pa r se r =pa r se.y - - yydebug - e "p 'ͨͷ͍͠pa r se.y" add_delayed_token:7790 (0 : 0|0|0) Sta r ting pa r se Ente r ing state 0 Stack now 0 Reducing stack by r ule 1 (line 2971) : lex_state: NONE - > BEG at line 2972 vtable_alloc:14925 : 0 x 0000600000f999c0 vtable_alloc:14926 : 0 x 0000600000f999e0 cmda r g_stack(push) : 0 at line 14940 cond_stack(push) : 0 at line 14941 - > $$ = nte r m $@1 (1.0-1.0 : ) Ente r ing state 1 Stack now 0 1 Reading a token lex_state: BEG - > CMDARG at line 10545 pa r se r _dispatch_scan_event:11315 (1 : 0|1|23) Next token is token "local va r iable o r method" (1.0-1.1 : p) Shifting token "local va r iable o r method" (1.0-1.1 : p) ruby --parser=parse.y --yydebug -e "code"

Slide 70

Slide 70 text

© 2024 ANDPAD All Rights Reserved. 70 実際の例 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y https://bugs.ruby-lang.org/issues/20790 * x = p r escue p 1 = > (*x = p) r escue (p 1)

Slide 71

Slide 71 text

© 2024 ANDPAD All Rights Reserved. 71 実際の例 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y --yydebug の結果を眺める ❯ r uby - - pa r se r =pa r se.y - ye " * x = p r escue p 1" : (snip) Reducing stack by r ule 40 (line 3222) : $1 = nte r m mlhs (1.0-1.2 : ) $2 = token '=' (1.3-1.4 : ) $3 = nte r m lex_ctxt (1.4-1.4 : ) $4 = nte r m m r hs_a r g (1.5-1.6 : NODE_VCALL) $5 = token "` r escue' modif i e r " (1.7-1.13 : ) $6 = nte r m afte r _ r escue (1.13-1.13 : ) $7 = nte r m stmt (1.14-1.17 : NODE_FCALL) - > $$ = nte r m stmt (1.0-1.17 : NODE_MASGN) 行情報

Slide 72

Slide 72 text

© 2024 ANDPAD All Rights Reserved. 72 実際の例 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 該当する生成規則を割り出す | mlhs '=' lex_ctxt m r hs_a r g modif i e r _ r escue afte r _ r escue stmt[ r esbody] { p - > ctxt.in_ r escue = $3.in_ r escue; YYLTYPE loc = code_loc_gen(&@modif i e r _ r escue, &@ r esbody); $ r esbody = NEW_RESBODY(0, 0, r emove_begin($ r esbody), 0, &loc); loc.beg_pos = @m r hs_a r g.beg_pos; $m r hs_a r g = NEW_RESCUE($m r hs_a r g, $ r esbody, 0, &loc); $$ = node_assign(p, (NODE *)$mlhs, $m r hs_a r g, $lex_ctxt, &@$); / * % r ippe r : massign!($ : 1, r escue_mod!($ : 4, $ : 7)) % * / }

Slide 73

Slide 73 text

© 2024 ANDPAD All Rights Reserved. 73 実際の例 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 作成していそうな抽象構文木のNodeを確認する | mlhs '=' lex_ctxt m r hs_a r g modif i e r _ r escue afte r _ r escue stmt[ r esbody] { p - > ctxt.in_ r escue = $3.in_ r escue; YYLTYPE loc = code_loc_gen(&@modif i e r _ r escue, &@ r esbody); $ r esbody = NEW_RESBODY(0, 0, r emove_begin($ r esbody), 0, &loc); loc.beg_pos = @m r hs_a r g.beg_pos; $m r hs_a r g = NEW_RESCUE($m r hs_a r g, $ r esbody, 0, &loc); $$ = node_assign(p, (NODE *)$mlhs, $m r hs_a r g, $lex_ctxt, &@$); / * % r ippe r : massign!($ : 1, r escue_mod!($ : 4, $ : 7)) % * / }

Slide 74

Slide 74 text

© 2024 ANDPAD All Rights Reserved. 74 実際の例 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 作成されるASTと突き合わせる ❯ r uby - - pa r se r =pa r se.y - - dump=pa r set r ee - e " * x = p r escue p 1" : # +- nd_body: # @ NODE_MASGN (id: 1, line: 1, location: (1,0)-(1,17))* # +- nd_value: # | @ NODE_RESCUE (id: 7, line: 1, location: (1,5)-(1,17)) # | +- nd_head: # | | @ NODE_VCALL (id: 2, line: 1, location: (1,5)-(1,6)) # | | +- nd_mid: :p # | +- nd_ r esq: # | | @ NODE_RESBODY (id: 6, line: 1, location: (1,7)-(1,17)) # | | +- nd_a r gs: # | | | (null node) # | | +- nd_body: # | | | @ NODE_FCALL (id: 4, line: 1, location: (1,14)-(1,17)) # | | | +- nd_mid: :p # | | | +- nd_a r gs: :

Slide 75

Slide 75 text

© 2024 ANDPAD All Rights Reserved. 75 parse.y 歩き方 令和最新版 最強 parse.yがやろうとしていることは抽象構文木(AST)を組み立てるこ となので、生成規則を辿りながら必要に駆られた時に各定義を参照 していくのが最も歩きやすい。 (間違っても上から順に読んではいけない) 葉ノードから根に向かって辿ると常に親となる一つの非終端記号を 辿ることになるので辿りやすい。※根から葉だとRHSは複数ある。 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 生成規則を辿りながら必要に応じて各定義を見ていく

Slide 76

Slide 76 text

© 2024 ANDPAD All Rights Reserved. 76 ここまでのまとめ parse.yの歩き方 ● parse.yは大まかにヘッダ部、型定義、生成規則、ユーザー定義部に分 かれている ● parse.yはシンタックスハイライトがあると歩きやすい ● 生成規則を辿りながら必要に駆られた時に各定義を参照していくのが最 も歩きやすい ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 77

Slide 77 text

© 2024 ANDPAD All Rights Reserved. 77 04 「新しい」記法について "深海に生きる魚族のように、自らが燃えなければ何処にも 光はない" ーー明石海人「白描」

Slide 78

Slide 78 text

© 2024 ANDPAD All Rights Reserved. 78 Named References アクション内で記号の値にアクセスする場合、`$1`や`$2`のようにイ ンデックスを指定してアクセスすると位置がずれたり、可読性が少 し悪い。`$name`のように終端・非終端記号の名前を用いて記号の値 へアクセスすることができる。 複雑な構文解析を行う際に便利な機能であり、コードの見通しを良 くし、保守性を高める役割を果たす。 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 構文規則の記号へのアクセスの際に 名前をつけて参照できる機能

Slide 79

Slide 79 text

© 2024 ANDPAD All Rights Reserved. 79 Named References 以下の通り、置き換えが可能である ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y exp r ession: te r m1 '+' te r m2 { $$ = $1 + $3; } | te r m1 '-' te r m2 { $$ = $1 - $3; }; exp r ession: te r m1 '+' te r m2 { $$ = $te r m1 + $te r m2; } | te r m1 '-' te r m2 { $$ = $te r m1 - $te r m2; };

Slide 80

Slide 80 text

© 2024 ANDPAD All Rights Reserved. ただし、曖昧さが生じるため 記号名だけでは判別ができないことがある 80 Named References ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y exp: exp '/' exp { $exp = $exp / $exp; } / / $exp is ambiguous. exp: exp '/' exp { $$ = $1 / $exp; } / / One usage is ambiguous. exp: exp '/' exp { $$ = $1 / $3; } / / No e r r o r .

Slide 81

Slide 81 text

© 2024 ANDPAD All Rights Reserved. 曖昧さを回避するために 各記号にエイリアスを設定可能 81 Named References ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y exp[ r esult] : exp[left] '/' exp[ r ight] { $ r esult = $left / $ r ight; }

Slide 82

Slide 82 text

© 2024 ANDPAD All Rights Reserved. 82 Parameterizing Rules 生成規則の非終端記号の定義を、他の終端もしくは非終端記号でパ ラメータ化することができる機能。 OCaml向けのLR(1)パーサージェネレーターであるMenhirのアイデ アを元に実装。 Menhir Reference Manual (version 20240715) https://gallium.inria.fr/~fpottier/menhir/manual.html#sec32 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 文法ファイルの生成規則の共通的なパターンのための シンタックスシュガーを提供する機能

Slide 83

Slide 83 text

© 2024 ANDPAD All Rights Reserved. 83 Parameterizing Rules ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y opt_a r gs_tail: ',' a r gs_tail { $$ = $2; } | / * none * / { $$ = new_a r gs_tail( . . . ); }; opt_block_a r gs_tail : ',' block_a r gs_tail { $$ = $2; } | / * none * / { $$ = new_a r gs_tail( . . . ); } ; 以下のような頻出のパターンの共通化が可能

Slide 84

Slide 84 text

© 2024 ANDPAD All Rights Reserved. 84 Parameterizing Rules ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y opt_a r gs_tail: ',' a r gs_tail { $$ = $2; } | / * none * / { $$ = new_a r gs_tail( . . . ); }; opt_block_a r gs_tail : ',' block_a r gs_tail { $$ = $2; } | / * none * / { $$ = new_a r gs_tail( . . . ); } ; 異なる箇所は一つの非終端記号のみ

Slide 85

Slide 85 text

© 2024 ANDPAD All Rights Reserved. 85 Parameterizing Rules ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y % r ule opt_a r gs_tail(tail) : ',' tail { $$ = $2; } | / * none * / { $$ = new_a r gs_tail( . . . ); } ; Ruleの定義は以下の通りおこなう ルール名 パラメータ 戻り値($$)の型

Slide 86

Slide 86 text

© 2024 ANDPAD All Rights Reserved. 86 Parameterizing Rules ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y opt_a r gs_tail: opt_a r gs_tail(a r gs_tail) ; opt_block_a r gs_tail: opt_a r gs_tail(block_a r gs_tail) ; Ruleを使用する場合には以下の通り書き換えられる opt_a r gs_tail: ',' a r gs_tail { $$ = $2; } | / * none * / { $$ = new_a r gs_tail( . . . ); }; opt_block_a r gs_tail : ',' block_a r gs_tail { $$ = $2; } | / * none * / { $$ = new_a r gs_tail( . . . ); } ;

Slide 87

Slide 87 text

© 2024 ANDPAD All Rights Reserved. 87 Parameterizing Rules ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y % r ule opt_a r gs_tail(tail) : ',' tail { $$ = $2; } | / * none * / { $$ = new_a r gs_tail( . . . ); } ; opt_a r gs_tail: opt_a r gs_tail(a r gs_tail) ; 以下の通り展開する

Slide 88

Slide 88 text

© 2024 ANDPAD All Rights Reserved. 88 Parameterizing Rules ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y % r ule opt_a r gs_tail(a r gs_tail) : ',' a r gs_tail { $$ = $2; } | / * none * / { $$ = new_a r gs_tail( . . . ); } ; opt_a r gs_tail: opt_a r gs_tail(a r gs_tail) ; 以下の通り展開する

Slide 89

Slide 89 text

© 2024 ANDPAD All Rights Reserved. 89 Standard library 一般的な構造を持つルールを標準ライブラリとして提供。 lib/lrama/grammar/stdlib.y に定義されており、構文解析の前に文 法ファイル内に埋め込まれる。%no-stdlib ディレクティブが文法 ファイルにあれば埋め込まれない。 ruby/lrama - lib/lrama/grammar/stdlib.y https://github.com/ruby/lrama/blob/master/lib/lrama/grammar/stdlib.y ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 汎用的な構造を持ったParameterizing Rulesの コレクションを提供する

Slide 90

Slide 90 text

© 2024 ANDPAD All Rights Reserved. 90 Standard library ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y 次の3つのルールについては、 正規表現のような構文のエイリアスの使用が可能 名前 option(X) list(X) nonempty_list(X) 展開するルール є | X a possibly empty sequence of X’s a nonempty sequence of X’s エイリアス X? X* X+

Slide 91

Slide 91 text

© 2024 ANDPAD All Rights Reserved. 91 Standard library 以下の通り、置き換えが可能である ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y opt_nl : / * empty * / | '\n' ; opt_nl : '\n'? ;

Slide 92

Slide 92 text

© 2024 ANDPAD All Rights Reserved. 92 ここまでのまとめ 進化し続けるparse.y ● Named Referencesは構文規則の記号へのアクセスの際に位置情報($1) ではなく、名前を使用して参照できる機能 ● Parameterizing Rulesは生成規則の共通パターンを抽出するための機能 ● Standard Libraryが提供されており、?*+のようなエイリアスが提供さ れている ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 93

Slide 93 text

© 2024 ANDPAD All Rights Reserved. 93 さいごに parse.yは「たのしい」 ● 現在の3.4-devではデフォルトパーサーがLramaがparse.yから生成する パーサーからPrismに変わったが、parse.yは今も進化を続けている ● 悪魔城や魔境や地獄といった印象も少しは変わったと思う ● LR構文解析器の力を信じているので、開発はこれからも続けていくつも り。今よりもっと たのしいparse.y を目指して ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y

Slide 94

Slide 94 text

© 2024 ANDPAD All Rights Reserved. 94 ydah | https://speakerdeck.com/ydah/the-joy-of-parse-y github.com/ruby/lrama Stargaze at