軽率にプログラミング言語のシンタックスについて考えてみよう / lets-think-about-programming-lang-syntax

Iwaken Lab.プログラミング言語入門座談会で登壇した資料です

Transcript

1. 軽率にプログラミング言語の シンタックスについて 考えてみよう にー兄さん@ninisan_drumath Iwaken Lab.プログラミング言語入門座談会
2. にー兄さん ソフトウェアエンジニア@HoloLab inc. Babylon.js勉強会運営 Iwaken Lab. Microsoft MVP for Dev Tech 好きな言語 TypeScript / C# / Kotlin CoffeeScript as a 思ひ出 アカウント @ninisan_drumath @drumath2237
3. 本日のお話 プログラミング言語というものを、言語の構文（シンタックス）から覗いてみようという内容 ⚠️ただのプログラミング言語好きが書いてます（しっかり詳しいわけではない）ので注意 ゴール プログラミング言語のシンタックスを定義・解析する知見を知ってもらう 普段使っている言語はどうなってるんだろう？と考えるきっかけになる 自分がプログラミング言語について話す
4. アジェンダ 1. プログラミング言語について 2. 言語の構文を定義する 3. 構文解析とAST 4. おわりに
5. プログラミング言語について 考えてみよう
6. 色々な言語が存在する C# Python TypeScript これらはどうやって実行されるんだろう？ int a = 1; Console.WriteLine(a); a = 1 print(a) const a:number = 1; console.log(a);
7. プログラムが実行されるまで（一例） コンパイラ言語の一例を示す。あくまで一例 1. 字句解析(tokenize) 1. トークン列を生成 2. 構文解析(parse) 1. 抽象構文木を生成 3. アセンブリや中間表現に変換生成 1. ILやIR、WASMなど 2. ネイティブバイナリ 4. ランタイム環境によって実行 今のインタプリタ言語はJITコンパイラ搭載のものや、 実行前に中間表現に変換してVMで動かすものがあったりするので もしかしたら純粋なインタプリタって少なくなってるのかも
8. 例）RustからWASMを生成してWebブラウザで実行する 1. Rustのコードを字句解析・構文解析によりASTを得る 1. ここはrustcやwasm-packが担当 2. ASTをWASMに変換する 1. AST -> HIR -> MIR -> LLVM IR -> WASMという流れで生成 3. ChromeブラウザのJSエンジンがスタックマシンとして実行（実際はレジスタマシン的な挙動になるらしい けど） 1. V8やSpiderMonkeyなど add関数のWASM（WAT形式） (module (func $add (export "add") (param $a i32) (param $b i32) (result i32) local.get $a local.get $b i32.add ) )
9. プログラミング言語を作るってどういうことだろう？ どんな種類の言語を作るのかによる コンパイラ言語？ インタプリタ言語？ AltJS？ 言語の構文さえ定義されていればいいのか？ コンパイラがあればよいのか？ エコシステムはどこまでサポートするか？
10. 今回は「 構文（シンタックス） 」に注目してみよう
11. 言語の構文を定義する
12. 簡易的な言語を作ってみる いったん仮のプログラミング言語を作ってみる（と思ったけどこれRustやな） いったん言語構文（機能）としてはこれだけを考えるが それでもいくつかの要素があることに気づく let a: i32 = 1 let b: bool = true let c: i32 = if b { 1 } else { 0 }
13. 仮言語を眺めてみる letキーワード 型 変数と代入（初期化） ifによる条件分岐 let a: i32 = 1 let b: bool = true let c: i32 = if b { 1 } else { 0 }
14. さらに正確に読み取る letキーワードによる変数宣言文（letは予約語っぽい） 変数はイミュータブル？ここからはわからない 後置修飾型アノテーション 数値型/真偽値型 数値リテラル/真偽値リテラル if式（not if文） 条件ブロックに式をとり 以降のブロックでも式をとる そもそも式と文がある こういう性質をどのように表すか？ let a: i32 = 1 let b: bool = true let c: i32 = if b { 1 } else { 0 }
15. （拡張）BNFによる構文の定義 BNF（バッカス・ナウア記法）と呼ばれる方法がある 言語構文の要素それぞれを再帰的に定義する 拡張BNFによる仮言語の構文の表現（ChatGPTにお願いした） ​ ​ program statement expr literal TYPE IDENT NUMBER ::= { statement } ::= let IDENT : TYPE = expr ::= literal ∣ if expr { expr } else { expr } ::= NUMBER ∣ true ∣ false ::= i32 ∣ bool ::= letter { letter ∣ digit ∣ _ } ::= digit { digit } let a: i32 = 1 let b: bool = true let c: i32 = if b { 1 } else { 0 }
16. 構文解析とAST
17. プログラムを評価するためには プログラムをなぞっていき、実際に実行結果を得たい（評価/eval） プログラムを解析して結果を得るために、 まずはそのプログラムを構造的なデータとして保持 どんなデータが良いだろうか？
18. 字句解析 プログラムを分解してみる プログラムはいくつかのトークン(字句)に分解でき、トークン列として表現できる プログラムをなぞっていき、トークン列を生成する関数を 字句解析器(lexical analyzer) と呼ぶ let a: i32 = 1 let a : i32 = 1 // ^keyword ^identifier ^colon ^type ^equal ^literal ^EOL
19. 仮言語の字句解析 字句解析をしてトークン列を生成すると let a: i32 = 1 Let Ident(a) Colon Type(i32) Equal Number(1)
20. 抽象構文木(AST: abstract syntax tree) プログラムは木構造である！ let変数宣言文 変数名( "a" ) 型( i32 ) 式 リテラル(数値リテラル 1 ) 構文を木構造で表したものを AST（抽象構文木）という Let Ident(a) Colon Type(i32) Equal Number(1)
21. 構文解析（Parse） トークン列から構文木を作成する処理のこと 例えばこんなコードがあったら こんな構造になる 構文解析をする関数や機能のことを、構文解析器（Parser）と呼ぶ let x = 1 + 2 VariableDeclaration ├─ Identifier: x └─ BinaryExpression(+) ├─ Literal: 1 └─ Literal: 2
22. 例）再帰下降構文解析 手軽な構文解析のアルゴリズム 仮言語はLL(1)言語というカテゴリで 再帰下降構文解析ができる BNFをそのままコードに落とし込んだような 見た目で再帰処理によってASTを構築できる ​ ​ program statement expr literal TYPE IDENT NUMBER ::= { statement } ::= let IDENT : TYPE = expr ::= literal ∣ if expr { expr } else { expr } ::= NUMBER ∣ true ∣ false ::= i32 ∣ bool ::= letter { letter ∣ digit ∣ _ } ::= digit { digit }   parseProgram() { const statements = []; while (this.peek().type !== "EOF") { statements.push(this.parseStatement()); } return statements; } parseStatement() { this.consume("Let"); const nameToken = this.consume("Ident"); this.consume("Colon"); const typeToken = this.consume("Type"); this.consume("Equal"); const expr = this.parseExpr(); return { type: "LetStatement", name: nameToken.value, varType: typeToken.value, value: expr, }; } parseExpr(): any { const token = this.peek(); if (token.type === "If") { this consume("If");
23. let a: i32 = 1 let b: bool = true let c: i32 = if b { 1 } else { 0 }
24. TypeScript Compiler APIによる構文解析 TypeScriptはコンパイラのAPIを提供している ASTの生成からトラバースまで、簡単に使いやすいAPIがあってよい 自前のコード生成などに活用できる   p yp p ; const source = `let x = 1 + 2;`; const sourceFile = ts.createSourceFile( "example.ts", source, ts.ScriptTarget.Latest, true // setParentNodes ); // ASTを走査してノードを出力 function visit(node: ts.Node) { console.log( `${ts.SyntaxKind[node.kind]}: "${node.getText(sourceFile)}"` ); ts.forEachChild(node, visit); } visit(sourceFile);
25. C# Roslyn APIによる構文解析 C#のRoslynコンパイラでもASTの生成が可能 コード生成の場合はSource Generatorも使えるが、 CLIからコード生成をしたい場合などには活用できる   using Microsoft.CodeAnalysis.CSharp; using Microsoft.CodeAnalysis; using Microsoft.CodeAnalysis.CSharp.Syntax; var code = "int x = 1 + 2;"; var tree = CSharpSyntaxTree.ParseText(code); var root = tree.GetRoot(); // ASTのルートノードをたどる foreach (var node in root.DescendantNodes()) { Console.WriteLine($"{node.Kind()}: {node}"); }
26. 開発時に活躍するAST ASTはテキストエディタやIDEでも多く活用されている シンタックスハイライト Launguage Server Linter / Formatter
27. おわりに
28. おわりに 構文という観点でプログラミング言語を見てきた BNFによる定義と構文解析によるASTの生成 自分がいつも触っているプログラミング言語のBNFや、 今書いている自分のコードはどんなASTとして解釈されるんだろう と考えてみるのも面白いかもしれない
29. 関連・参考 怖くないバッカスナウア記法(BNF)入門 https://qiita.com/h_sakurai/items/3cc328a6db8941ac6336 Wikipedia: 抽象構文木 https://ja.wikipedia.org/wiki/抽象構文木 Using the Compiler API https://github.com/microsoft/TypeScript/wiki/Using-the-Compiler-API The .NET Compiler Platform SDK https://learn.microsoft.com/en-us/dotnet/csharp/roslyn-sdk/