Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
自作言語のすすめ - シン・プログラミング自作版 -
Search
soukouki
August 22, 2021
Technology
0
450
自作言語のすすめ - シン・プログラミング自作版 -
インタプリタの内部実装の紹介と、自作言語yokanの紹介です。
soukouki
August 22, 2021
Tweet
Share
More Decks by soukouki
See All by soukouki
1年前の日記を要約するツールをローカルLLM&自作MCPサーバーで作った話
soukouki
0
86
自作Cコンパイラ 8時間の奮闘
soukouki
0
1.4k
定理証明支援系Coq(セキュリティキャンプLT会)
soukouki
1
180
Coqで選択公理を形式化してみた
soukouki
0
380
「プログラミング」と「数学」の関係 〜カリー・ハワード同系対応と定理証明支援系Coq〜
soukouki
1
250
型クラスと依存型のカルパッチョ、代数的構造を添えて
soukouki
2
560
Coqのコントリビューターになった話
soukouki
0
200
次に流行る※プログラミング言語「Lean」
soukouki
3
2.1k
証明しながらプログラミング! - タクティックによるCoqプログラミング
soukouki
0
320
Other Decks in Technology
See All in Technology
WordPressから ヘッドレスCMSへ! Storyblokへの移行プロセス
nyata
0
310
強化されたAmazon Location Serviceによる新機能と開発者体験
dayjournal
3
230
Yamla: Rustでつくるリアルタイム性を追求した機械学習基盤 / Yamla: A Rust-Based Machine Learning Platform Pursuing Real-Time Capabilities
lycorptech_jp
PRO
4
170
生成AI開発案件におけるClineの業務活用事例とTips
shinya337
0
160
AIの最新技術&テーマをつまんで紹介&フリートークするシリーズ #1 量子機械学習の入門
tkhresk
0
140
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
0
220
解析の定理証明実践@Lean 4
dec9ue
1
190
無意味な開発生産性の議論から抜け出すための予兆検知とお金とAI
i35_267
0
320
250627 関西Ruby会議08 前夜祭 RejectKaigi「DJ on Ruby Ver.0.1」
msykd
PRO
2
370
OPENLOGI Company Profile for engineer
hr01
1
33k
KubeCon + CloudNativeCon Japan 2025 Recap by CA
ponkio_o
PRO
0
240
Snowflake Summit 2025全体振り返り / Snowflake Summit 2025 Overall Review
mtpooh
2
440
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Typedesign – Prime Four
hannesfritz
42
2.7k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Code Reviewing Like a Champion
maltzj
524
40k
Site-Speed That Sticks
csswizardry
10
670
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Adopting Sorbet at Scale
ufuk
77
9.4k
Being A Developer After 40
akosma
90
590k
What's in a price? How to price your products and services
michaelherold
246
12k
How to train your dragon (web standard)
notwaldorf
94
6.1k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Transcript
自作言語のすすめ シン・プログラミング自作版
自己紹介 29期生で学部1年の sou7 / soukouki です。 twitter:@sou7___ (アンダーバーは3つ!) discord:sou7#0094 github:soukouki
atcoder:soukouki 大学入ってからというもの、周りにすごい人が多くて刺 激されてます。 みんなすごい!
かわいい!
すごいかわいい!
自己紹介(おまけ) Goはyokanを実装するまで 未経験でした。未経験言語 で実装するのは大変。 保有資格 ->
えっ?
自作〇〇、といえば? 自作PC 自作OS そのなかでもやっぱり! 自作言語 もうこれ以外ない!(強制)
インタプリタとコンパイラ 言語の処理系を作るには、大まかに インタプリタ コンパイラ に別れます。 コンパイラよりもインタプリタのほうが実装が簡単(構文木を使って実行するだけで済 む)ので、今回はインタプリタを実装しました。
インタプリタの構造 インタプリタは、概ね次の3段階の処理に別れます。 字句解析 ソースコード(文字列)をトークン(後ほど説明します)の列に切り分ける処理 構文解析 トークンの列を木構造の抽象構文木(これも説明します)に解釈する処理 評価 抽象構文木を使ってプログラムを実行する処理 これらの処理の実装方法などについても触れていきます。 余談ですが、実行速度が重要なインタプリタ(RubyやNode.jsなど)は更に何段階かに分
かれているそうです。
トークンとはなんぞや トークンとは、一言で言えばコード上で意味を持つ最小単位の文字の並びです。 具体的にはこんなものです。 予約語 (C言語でいう if とか const とか。yokan言語には予約語はありません。) リテラル
( 123 , "str" のような、プログラム上の数値や文字列) 識別子 (関数名や変数名のような、プログラム上で自由に名前をつけられるもの) 演算子 ( == , < , + ) 括弧 デミリタ (カンマとか)
抽象構文木とはなんぞや 抽象構文木とは、コードの構造を木構造で表したものです。 今回はGoの構造体を組み合わせて表現しました。 具体例 1+2*3 は字句解析で 1 + 2 *
3 のような列になり、さらに構文解析で Add(1, Mul(2, 3)) このような形になります。
字句解析 字句解析とは、ソースコードの文字列から、トークンの列に変換する処理です。 yokan言語では、その文字と、その次の文字を見ることでトークンを区別できるように なっています。( = と == を考えてみると良いでしょう) たいてい、コメントはこの段階で除去されます。(yokanにコメントはありません が・・・)
実装はそこまで難しくなく、数時間程度で作れます。
構文解析 構文解析とは、字句解析で得られたトークンの列から、抽象構文木に変換する処理で す。 この構文解析には幾つもアルゴリズムがあります。今回はその中から再帰下降構文解 析という、比較的素朴な方法を使いました。 ちなみに、構文解析を高速に行うにはもっと複雑な構文解析のアルゴリズムを使うこ とが多いのですが、そのコードはとても複雑になり人には書けないため、ソースコー ドを生成するコンパイラ(パーサジェネレータ、コンパイラコンパイラとも)を使うこと が多いです。
再帰下降構文解析 再帰下降構文解析は、相互再帰(複数の関数を組み合わせて作る再帰)で構成される構文 解析のアルゴリズムです。 アルゴリズムを構成する関数(または処理のまとまり)と、解析する言語の文法が1対1に 対応するため、簡単に実装できます。
具体例 Wikipedia「再帰下降構文解析」より引用 void term(void) { factor(); while (sym == times
|| sym == slash) { getsym(); factor(); } } void expression(void) { if (sym == plus || sym == minus) getsym(); term(); while (sym == plus || sym == minus) { getsym(); term(); } } (yokanではもう少しごちゃごちゃした処理を書いています。)
構文木を使った評価 インタプリタなどでは、プログラムを実行することを「評価する」と言うことが多い です。 yokan言語では、構文解析で得られた構文木を使って、直接評価しています。 func evalMinusPrefixOperatorExpression(right object.Object) object.Object { //
型チェック err, ok := checkTypeIsInteger("MinuPrefixOperator", right) if !ok { return err } // 内部の整数を取得 value := right.(*object.Integer).Value // マイナス演算子を適用 return &object.Integer{Value: -value} }
yokan言語の推しポイント yokan言語では無名関数は '(' <カンマ区切りの引数リスト> ')' '{' <文> '}' というかなりシンプルな構文を使います。これによって if(
cond, (){puts(true)}, (){puts(false)} )() という形で、if関数 を使って条件分岐を実装できます。
yokan言語について リポジトリはこちらです。 プルリクエスト歓迎してます! https://github.com/soukouki/yokan
参考になる本 「Go言語でつくるインタプリタ」 https://www.oreilly.co.jp/books/9784 873118222/ 基本的な構造はこの本と同じです。 ただ、構文が違ったり、構文解析の アルゴリズムが違ったりと、自分で アレンジした箇所も多くあります。
ありがとうございました!