二郎系ラーメンのコールで学ぶ AST 解析

Ί΋Γʔ ೋ࿠ܥϥʔϝϯͷίʔϧͰֶͿ  AST ղੳ PHP ΧϯϑΝϨϯεখాݪ 2024

Ί΋Γʔ m3m0r7 memory1994 m3m0r7 1994 ೥ 5 ݄ੜ·Εɻෳ਺ͷελʔτΞοϓ ΍্৔اۀͰιϑτ΢ΣΞΤϯδχΞɼΤ
ϯδχΞϦϯάϚωʔδϟʔɼςοΫϦʔ υɼࣥߦ໾һ CTO ͳͲΛ୲͏ɻ

Έͳ͞Μ͸ɼ͜ͷΑ͏ͳढจΛݟͨ͜ͱ͋Γ·͔͢

ΞϒετϥΫτϚγϚγɾγϯλοΫεগ͠  πϦʔϚγϚγ

ͦ͏ɼೋ࿠ܥϥʔϝϯͰ͢

͜ͷढจ͸ʮίʔϧʯͱ͍͍ɼணကલʹτοϐϯάΛ  ௥ՃΦʔμʔ͢Δͱ͖ʹൃ͢ΔϫʔυͰ͢

͜ͷίʔϧ͸ෳࡶͦ͏ʹݟ͑·͕͢  Ұఆͷ๏ଇʹج͍ͮͯจষ͕ߏ੒͞Ε͍ͯ·͢

ײͷྑ͍ਓ͸ؾ෇͍ͨ͸ͣͰ͢

ϓϩάϥϛϯάݴޠͱಉ͡Ͱ͢Ͷʢʁʣ

ຊ೔͸͜ͷίʔϧΛ୊ࡐʹ AST ղੳʹ͍ͭͯ  ॳ৺ऀͷํͰ΋Θ͔Γ΍͘͢ղઆ͠·͢

AST ͱ͸Կ͔ ೋ࿠ܥϥʔϝϯͷίʔϧΛ AST ʹ͢Δ PHP ʹஔ͖׵͑ͯΈΑ͏ ΋͘͡

AST ͱ͸Կ͔

AST ͱ͸Կ͔ - AST ͸ Abstract Syntax Tree ͷུͰɼந৅ߏจ໦Λࢦ͠·͢ɻ -
ͯ͞ɼ͜ͷ AST ͱ͍͏ϫʔυͩͬͨΓɼந৅ߏจ໦ͱ͍͏ݴ༿ʹύοͱདྷͳ ͍ํ΋ଟ͍ͷͰ͸ͳ͍Ͱ͠ΐ͏͔ɻ - ͦ΋ͦ΋ɼ͜ͷ AST ͸Ͳ͏͍͏໾ׂͳͷ͔ɼԿͷ໾ʹཱͭͷ͔Λղઆ͠· ͢ɻ AST ͱ͸Կ͔

AST ͷ໾ׂ

AST ͷ໾ׂ - AST ͸ύʔαʔʢParserɼߏจղੳثʣͰߦΘΕΔϓϩηεͷҰछͰ͢ɻ ύʔαʔ͸ಛఆͷݴޠΛ͋ΔҰఆͷҙຯΛղऍͯ͠෼ղ͍ͯ͘͠΋ͷͰ͢ɻ - ಛఆͷݴޠͱ͍͏ͷ͸ϓϩάϥϛϯάݴޠ΋ͦ͏Ͱ͢͠ɼࢲୡ͕࢖͍ͬͯΔ೔ ຊޠΛؚΉࣗવݴޠ΋ͦ͏Ͱ͢ɻզʑ͸ਓྨ͸ߴੑೳͳߏจղੳثͳͷͰ͢ɻ -
ͦͷதͰɼAST ͷৼΔ෣͍͸؆ܿʹݴ͑͹ϓϩάϥϜͷߏ଄͔Βແବͳ΋ͷΛ ࡟ͬͯπϦʔঢ়ʹදͨ͠΋ͷͰ͢ɻ AST ͱ͸Կ͔

AST ͷ໾ׂ - ͦ΋ͦ΋ϓϩάϥϛϯάݴޠͷ΄ͱΜͲ͸Ͳ͏͍͏εςοϓͰղऍ͞ΕΔͷͰ ͠ΐ͏͔ɻ - echo "Hello World!" ;
Λݩʹ࣍ͷϖʔδͰղઆ͠·͢ɻ AST ͱ͸Կ͔ echo "Hello World!";

ϓϩάϥϛϯάݴޠͷղऍ AST ͱ͸Կ͔ ࣈ۟ղੳʢLexical Analysisʣ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦ

ࣈ۟ղੳʢLexical Analysisʣ ϓϩάϥϛϯάݴޠͷղऍ AST ͱ͸Կ͔ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦ echo,
(ۭന), "Hello World!", ; ͷ 4 ͭʹ෼ղ

ϓϩάϥϛϯάݴޠͷղऍ AST ͱ͸Կ͔ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦ ʮ"Hello World!" Λग़ྗ͢Δʯͱ͍͏ҙຯΛ༩͑Δ
ࣈ۟ղੳʢLexical Analysisʣ

ϓϩάϥϛϯάݴޠͷղऍ AST ͱ͸Կ͔ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦ ػցޠʹ຋༁͠·͢ɻʢPHP ͷΑ͏ͳʣݴޠʹ Αͬͯ͸
VM ্Ͱѻ͍΍͘͢͢ΔͨΊɼ  தؒݴޠʹม׵͞ΕΔ͜ͱ΋͋Γ·͢ɻ ࣈ۟ղੳʢLexical Analysisʣ

ϓϩάϥϛϯάݴޠͷղऍ AST ͱ͸Կ͔ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦ ϥϯλΠϜʹΑ࣮ͬͯߦ ͞Ε·͢ ࣈ۟ղੳʢLexical
Analysisʣ

ϓϩάϥϛϯάݴޠͷղऍ - ͜͜ͰΑ͘ग़ͯ͘Δͷ͕ɼΠϯλϓϦλݴޠͳͷ͔ίϯύΠϥݴޠͱ͍͏Ωʔ ϫʔυͰ͢ɻ - ͱ͘ʹɼPHP ͸ΠϯλϓϦλݴޠͱݴΘΕ͍ͯ·͕͢ɼͦ΋ͦ΋Ͳ͏͍͏  ཁ݅Ͱ 2 छྨ͕࢖͍෼͚ΒΕ͍ͯΔͷͰ͠ΐ͏͔ɻ
- ࣍ͷϖʔδͰղઆͯ͠Έ·͢ɻ AST ͱ͸Կ͔

ϓϩάϥϛϯάݴޠͷղऍ AST ͱ͸Կ͔ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦ ͜ΕΒͷॲཧΛஞ࣍ʹߦ͏ͷ͕ ΠϯλϓϦλݴޠͰ͢ɻ ࣈ۟ղੳʢLexical
Analysisʣ Rust ΍ Go ͳͲ͸ػցޠʹ຋༁͞Ε·͢ɻ  PHP ΍ Ruby ͸Ұ౓தؒݴޠʢΦϖίʔυʣʹ  ຋༁͞Ε͔ͯΒ Zend VM , RubyVM ্Ͱ  ࣮ߦ͞Ε·͢ Rust ΍ Go ͳͲ͸ػցޠʹ຋༁͞Ε·͢ɻ  PHP ΍ Ruby ͸Ұ౓தؒݴޠʢΦϖίʔυʣʹ  ຋༁͞Ε͔ͯΒ Zend VM , RubyVM ্Ͱ  ࣮ߦ͞Ε·͢

ϓϩάϥϛϯάݴޠͷղऍ AST ͱ͸Կ͔ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦ ࣈ۟ղੳʢLexical Analysisʣ ΠϯλϓϦλݴޠͷ৔߹ɼίϯύΠϧɼதؒݴޠ
ͷม׵ͷϓϩηε͕ͳ͍  ৔߹΋͋Γ·͢ʢbash ͱ͔ shʣ

ϓϩάϥϛϯάݴޠͷղऍ AST ͱ͸Կ͔ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦ ※1 Java ͸
JVM ༻ͷதؒݴޠʹίϯύΠϧ͞Ε·͢͠ɼC/C++, Rust ͳͲ͸ػցޠ΁ίϯύΠϧ͞Ε·͢ɻ ࣈ۟ղੳʢLexical Analysisʣ ίϯύΠϧݴޠ͸  தؒݴޠʢ·ͨ͸࣮ߦϑΝΠϧʣ※1 ΁ͷ  ίϯύΠϧͷϓϩηε͕ "ඞͣ" ͋Γ

ϓϩάϥϛϯάݴޠͷղऍ AST ͱ͸Կ͔ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦ ίϯύΠϧݴޠ͔Ͳ͏͔͸ίϯύΠϧޙͷ  ϑΝΠϧΛ഑෍Ͱ͖ɼͦΕ͕७ਮʹ OS
্Ͱ࣮ߦ Ͱ͖Δ͔ΛҰͭ؍఺ͱஔ͘ͱྑ͍͔ͳͱࢥ͍·͢ C, C++, Java, Rust ͳͲ͕ίϯύΠϥݴޠͰ͢※1 ※1 Go ΋ίϯύΠϥݴޠͱݴΘΕ͍ͯ·͕͢ go run ͷΑ͏ͳҰ࿈ͷॲཧΛߦͬͯ͘ΕΔػೳ΋උΘ͓ͬͯΓ೥ʑ  ΠϯλϓϦλݴޠ΋ίϯύΠϥݴޠ΋ڥք͕ͳ͘ͳ͖͍ͬͯͯΔΑ͏ʹࢥ͍·͢ɻ΄͔ʹ΋ TypeScript ͷΑ͏ͳ  τϥϯεύΠϥΛඞཁͱ͢Δݴޠ͸ҰݟίϯύΠϥݴޠͷΑ͏ʹݟ͑·͕͢ɼ࣮ଶ͸ΠϯλϓϦλݴޠͷ JavaScript Ͱ ಈ࡞͍ͯ͠ΔͷͰ… ͜ͷล͸ͦΜͳ΋ΜͳΜͩͳʔ͘Β͍Ͱଊ͓͍͑ͯͯ໰୊ͳ͍Ͱ͠ΐ͏ ࣈ۟ղੳʢLexical Analysisʣ

ϓϩάϥϛϯάݴޠͷղऍ - ࣈ۟ղੳΛߦ͏ϓϩάϥϜΛࣈ۟ղੳثʢLexer, Lexical Analyzer, Tokenizer ͳͲͱ΋ʣɼߏจղੳΛߦ͏ϓϩάϥϜΛߏจղੳثʢParserʣͱݺͼ·͢ɻ - ʮ೔ຊޠʯΛղੳ͢Δࡍʹ͸ɼܗଶૉʹ෼ղ͢ΔࡍʹτʔΫφΠβʔʹ͍ۙ  ܗଶૉղੳʢMorphological
AnalysisɼϞϧϑΥʔϩδΧϧΞφϦγεʣΛ༻ ͍Δ͜ͱ͕͋Γ·͢ɻ - ܗଶૉղੳثͷஶ໊Ͳ͜Ζ͸ MeCab ΍ Sudachi ͳͲ͕͋Γ·͢ɻ AST ͱ͸Կ͔

AST ͷ໾ׂ - ϓϩάϥϛϯάݴޠͷॲཧͷྲྀΕͷΠϝʔδ͕෇͍ͨͱ͜ΖͰɼAST ͷ໾ׂͷ ࿩ʹ໭Γ·͠ΐ͏ɻ - ઌ΄Ͳͷߏจղੳͷ͋ͱͷ۩৅ߏจΛΑΓந৅Խ͠ҙຯΛ༩͑Δʢσʔλߏ଄ ʹ͢ΔʣϓϩηεͷҰ͕ͭɼ͜ͷந৅ߏจ໦ʢASTʣͳͷͰ͢ɻͭ·Γ AST
͸ σʔλߏ଄ͷҰछͰ΋͋Γ·͢ɻ - ϓϩάϥϜ্Ͱ͸ॏཁͳҙຯΛ࣋ͭΧοί΍ηϛίϩϯͳͲؚ͕·Ε͍ͯΔ΋ͷ Λ۩৅ߏจͱ͍͍ɼͦΕΒΛऔΓআ͍ͨ΋ͷ͕ந৅ߏจ໦ͩͱߟ͑ΔͱΘ͔Γ ΍͍͢Ͱ͠ΐ͏ɻ AST ͱ͸Կ͔

AST ͷ໾ׂ - ϓϩάϥϛϯάݴޠΛॲཧ͢ΔࡍʹɼϊΠδʔͳ৘ใؚ͕·ΕΔͱѻ͍ͮΒ͍ Ͱ͢ɻྫ͑͹ (a + b) * c
Λॲཧ͢Δͱ͖ɼ͍͍ͪͪߏจղੳͷࡍʹ (a + b) Λ ॲཧ͢Δͷ͸൥Θ͍͠Ͱ͢ɻ - ॳΊ͔Βɼ(a + b) ͸ * c ΑΓ΋ܭࢉͷ༏ઌ౓͕ߴ͍ͱ͍͏ҙຯʹ߹க͍ͯ͠Δ σʔλߏ଄ʹͳ͍ͬͯΕ͹ྑ͍͸ͣͰ͢ɻ͜ΕΛදݱ͢Δͷʹ͓͍ͯ͸πϦʔ ঢ়ʹѻ͏ͷ͕౎߹͕ྑ͍ͷͰ͢ɻ AST ͱ͸Կ͔ (a + b) * c

ʮΑ͘Θ͔ΒΜʯͦΜͳ੠͕ฉ͖͑ͯ͜·͢

Ͱ΋҆৺͍ͯͩ͘͠͞

͜ͷந৅ߏจ໦Ͱ͕͢

ೋ࿠ܥϥʔϝϯͷίʔϧʹ΋ద༻Ͱ͖·͢

Ͱ͸ɼૣ଎ղઆ͍͖ͯ͠·͢

ೋ࿠ܥϥʔϝϯͷίʔϧΛ AST ʹ͢Δ

ʮೋ࿠ܥϥʔϝϯʯΛ஌͍ͬͯΔਓʙʁ

ࠓ೔׆༻͢Δͷ͸ϥʔϝϯಲࢁͷίʔϧͰ͢

ը૾ͷҾ༻ݩ: ϥʔϝϯಲࢁެࣜαΠτ https://www.butayama.com/

ʮχϯχΫϚγϚγ໺ࡊϚγϚγΧϥϝʯ

͜Μͳײ͡Ͱίʔϧ͠·͢

ઌ΄Ͳͷࣈ۟ղੳ͔Β࣮ߦ·Ͱͷ  ϑϩʔʹরΒ͠߹ΘͤͯΈΔͱ

ʮχϯχΫ͍Ε·͔͢ʁʯ͔Β࣮ߦ·Ͱͷϑϩʔ ೋ࿠ܥϥʔϝϯͷίʔϧΛ AST ʹ͢Δ ࣈ۟ղੳʢLexical Analysisʣ ߏจղੳʢParseʣ ίϯύΠϧʢCompileʣ ࣮ߦʢϥʔϝϯͷఏڙʣ
ೋ࿠ܥϥʔϝϯ͸ɼࣈ۟ղੳ͔Β  ߏจղੳɼ࣮ߦ·Ͱελοϑ͕୲͏ͷͰ  ΠϯλϓϦλϥʔϝϯͰ͢ ίϯύΠϧ͸ಛʹ͠ͳ͍ɻ  ͢Δͱͨ͠ΒϑϦʔζυϥΠʹͳΔ͔ʢʁʣ χϯχΫ͍Ε·͔͢ʁ ʮχϯχΫϚγϚγ໺ࡊϚγϚγΧϥϝʯ

͜ΕΛࣈ۟ղੳͯ͠τʔΫϯʹ෼ղ͢Δͱ…

χϯχΫ Ϛγ ໺ࡊ Ϛγ Ϛγ Ϛγ Χϥ ϝ

τοϐϯά͸ϥʔϝϯΛߏ੒͢Δ  ύϥϝʔλͳͷͰ…

χϯχΫ Ϛγ ໺ࡊ Ϛγ Ϛγ Ϛγ Χϥ ϥʔϝϯ ϝ

೔ຊޠͷ··ͩͱѻ͍ͮΒ͍ͷͰ  ӳ਺ࣈͰ໊લΛ͚ͭ·͢

T_GARLIC T_ADD T_VEG T_ADD T_ADD T_ADD T_STONG RAMEN T_ADD
Χϥʮϝʯ΋ɼ௥ՃͳͷͰ  T_ADD Ͱ໰୊ͳ͍ χϯχΫΛ T_GARLIC ʹ ໺ࡊΛ T_VEG (ETABLE) ʹ Χϥ(ϝ) Λ T_STRONG ʹ ϚγΛ T_ADD ʹ

ߏจղੳΛߦ͏ͱ…

T_GARLIC T_ADD T_VEG T_ADD T_ADD T_ADD T_STONG RAMEN T_ADD
ϥʔϝϯ΁ͷτοϐϯά৘ใ ʮχϯχΫʯʹର͢Δݸ਺ͷࢦࣔ ʮ໺ࡊʯʹର͢Δݸ਺ͷࢦࣔ ຯͷೱ͞ʹର͢Δࢦࣔ

ந৅ߏจ໦ʹ͢Δͱ…

RAMEN Attr\Garlic Attr\Veg Attr\Strong ADD: 2 ADD: 2 ADD:
1 T_ADD 2 ͭ͸ T_GARLIC ʹଐ͢Δ৘ใ΁ T_ADD 2 ͭ͸ T_VEG ʹଐ͢Δ৘ใ΁ T_ADD ͸ T_STRONG ʹଐ͢Δ৘ใ΁ Attr\Garlic ͸ RAMEN ʹ  ଐ͢Δ෇Ճ৘ใ Attr\Strong ͸ RAMEN ʹ  ଐ͢Δ৘ใ Attr\Strong ͸ RAMEN ʹ  ଐ͢Δ৘ใ

RAMEN Attr\Garlic Attr\Veg Attr\Strong ADD: 2 ADD: 2 ADD:
1 Attr\Garlic ͸ ADD ͱ͍͏  ύϥϝʔλΛ࣋ͭ෇Ճ৘ใ Attr\Veg ͸ ADD ͱ͍͏  ύϥϝʔλΛ࣋ͭ෇Ճ৘ใ Attr\Strong ͸ ADD ͱ͍͏  ύϥϝʔλΛ࣋ͭ෇Ճ৘ใ

͜ͷΑ͏ʹπϦʔঢ়ʹͳΓ  ແବͳ৘ใʢT_ADDʣ͕࡟ΒΕ·ͨ͠

࣮ͦͯ͠ߦʢϥʔϝϯΛΞ΢τϓοτʣ͢Δͱ…

ը૾ͷҾ༻ݩ: ϫΠͷεϚϗ

͜͏ͳΓ·͢

ͦ΋ͦ΋ɼந৅ߏจ໦ʹ͢Δ  ࣈ۟ղੳثɾߏจղੳث͸  Ͳ͏͍͏࢓૊ͳͷͰ͠ΐ͏͔

࣍અͰղઆ͠·͢

ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ

ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ - ࣈ۟ղੳثɾߏจղੳث͸ΦʔτϚτϯͷ֓೦Λ༻͍Δ͜ͱ͕΄ͱΜͲͰ͢ɻ தͰ΋༗ݶΦʔτϚτϯ͸ɼ༗ݶͷঢ়ଶΛ࣋ͪೖྗʢࠓճͷ৔߹͸ʮχϯχΫ ϚγϚγ໺ࡊϚγϚγΧϥϝʯίʔϧʣʹԠͯ͡ঢ়ଶ͕มԽ͢Δந৅తͳػց Ͱ͢ɻ - ࣈ۟ղੳͰ͸ΦʔτϚτϯͷ֓೦͕༻͍ΒΕʢಛʹܾఆత༗ݶΦʔτϚτϯ ʢDFA, Deterministic
Finite AutomatonʣʣɼߏจղੳͰ͸τοϓμ΢ϯߏ จղੳʢLL ύʔαʔͳͲʣ΍ϘτϜΞοϓߏจղੳʢLR ύʔαʔʣͳͲ͕༻ ͍ΒΕ·͢ɻ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ

ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ - ͜ΕΒʹ͍ͭͯղઆ͢Δ͚ͩͰ΋஻Δωλ͕๛෋ʹͳͬͯ͠·ͬͯ࣌ؒ಺ʹऴΘΒͳ ͍ͷͰɼࠓճ͸͞ΘΓ͚ͩͰղઆ͠·͢ɻʢχϯχΫͰղઆʣ - ࣈ۟ղੳͷ༗ݶΦʔτϚτϯͷঢ়ଶભҠ͸ɼ؆қతʹॻ͘ͱҎԼͷΑ͏ʹͳΓ·͢ɻ ʢ஫ʣS ͸
State ΑΓɻq ͱॻ͘͜ͱ΋͋Γ·͢ʢͨͿΜ Queue ͕༝དྷʁʣɻ੺৭͸डཧঢ়ଶΛ͍ࣔͯ͠·͢ɻ ࣍ʹظ଴͢Δঢ়ଶ ભ Ҡ ݩ ೋ ϯ ೋ Ϋ S1 S2 S2 S3 S3 S4 S4 S5

ܾఆత༗ݶΦʔτϚτϯʢDFAʣͷҰྫ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ S1 S2 S3 S4 ॳظঢ়ଶ ˕͸डཧঢ়ଶ ೋ
ϯ ೋ Ϋ S5 ໺ S..N Χ ຊདྷ͸͜ΕΒ΋͋Γ·͢͠ɼ  ΋ͬͱεςʔτͷ਺΋ଟ͍Ͱ͕͢  ࢴ෯ͷ౎߹ͰղઆΛলུ͠·͢ Σ = {χ, ϯ, χ, Ϋ} ೖྗ ϥϝ ࡊ

ܾఆత༗ݶΦʔτϚτϯʢDFAʣͷҰྫ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ S1 S2 S3 S4 ॳظঢ়ଶ ೋ Σ
= {χ, ϯ, χ, Ϋ} ೖྗ

ܾఆత༗ݶΦʔτϚτϯʢDFAʣͷҰྫ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ S1 S2 S3 S4 ॳظঢ়ଶ ϯ Σ
= {χ, ϯ, χ, Ϋ} ೖྗ ೋ

ܾఆత༗ݶΦʔτϚτϯʢDFAʣͷҰྫ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ S1 S2 S3 S4 ॳظঢ়ଶ ೋ Σ
= {χ, ϯ, χ, Ϋ} ೖྗ ϯ ೋ

ܾఆత༗ݶΦʔτϚτϯʢDFAʣͷҰྫ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ S1 S2 S3 S4 ॳظঢ়ଶ ೋ ϯ
ೋ Ϋ Σ = {χ, ϯ, χ, Ϋ} ೖྗ डཧঢ়ଶͰऴྃͨ͠ͷͰʮडཧʯ͞ΕΔ ʢτʔΫϯͱͯ͠ѻΘΕΔʣ

PHP ͷ echo ʹஔ͖׵͑ͯΈ·͠ΐ͏

ܾఆత༗ݶΦʔτϚτϯʢDFAʣͷҰྫ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ S1 S2 S3 S4 ॳظঢ়ଶ e Σ
= {e, c, h, o} ೖྗ

ܾఆత༗ݶΦʔτϚτϯʢDFAʣͷҰྫ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ S1 S2 S3 S4 ॳظঢ়ଶ c Σ
= {e, c, h, o} ೖྗ e

ܾఆత༗ݶΦʔτϚτϯʢDFAʣͷҰྫ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ S1 S2 S3 S4 ॳظঢ়ଶ h Σ
= {e, c, h, o} ೖྗ c e

ܾఆత༗ݶΦʔτϚτϯʢDFAʣͷҰྫ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ S1 S2 S3 S4 ॳظঢ়ଶ e c
h o Σ = {e, c, h, o} ೖྗ डཧঢ়ଶͰऴྃͨ͠ͷͰʮडཧʯ͞ΕΔ ʢτʔΫϯͱͯ͠ѻΘΕΔʣ

ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ - χϯχΫ ΍ Ϛγ Ͱडཧঢ়ଶʹͳͬͨλΠϛϯάͰ T_GARLIC ΍ T_ADD ͷ
Α͏ͳτʔΫϯʹ෼ղ͞Ε·͢ɻ - ͜Ε͸ܗଶૉղੳͰ΋ίʔύεʢૹΓԾ໊ͱ͔͋ΔࣙॻΈ͍ͨͳ΋ͷʣΛ༻͍ Δ఺Ҏ֎ʹ͓͍ͯ͸ɼ͓͓ΑͦࣅͨΑ͏ͳ࢓૊ΈͰ͢ɻ͕ɼ࿩͕๲ΕΔͷͰׂ Ѫ͠·͢ɻ - ͦͯ͠ɼτʔΫϯʹ෼ղͨ͋͠ͱʹɼઌ΄Ͳ৮Εͨ LL ๏΍ LR ๏ͳͲΛ༻͍ ͯந৅ߏจ໦ʢASTʣʹ͍͖ͯ͠·͢ɻ؆қతʹ࡞ΔͳΒ͹࣮૷͕ൺֱత༰қ ͳ LL ๏ͳͲ͕͓͢͢ΊͰ͢ɻ ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ χϯχΫ Ϛγ T_GARLIC T_ADD

ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ - ߏจղੳثͰ͸จͷ్தʹ͋Δ + ΍ - ͳͲ͔Βߏจ໦Λ࡞͍͖ͬͯ·͢ɻLL ๏ͩͱಛʹ͜͏͍ͬͨ΋ͷΛ BNF ه๏ͳͲΛ༻͍ͯهड़͠·͢ɻPHP
ͷΑ͏ ͳݴޠΛߏจղੳ͢Δʹ͸ BNF ه๏ʹࣅͨܗͰఆٛͰ͖ΔɼYacc (Yet Another Compiler Compiler) ΍ Bison ͳͲͷύʔαδΣωϨʔλ͕༻͍ΒΕ ͍ͯ·͢ɻ - PHP ຊମʹ΋͋Γ·͢: https://github.com/php/php-src/blob/php-8.3.4/ Zend/zend_language_parser.y ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ

ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ - ΋ͪΖΜ࢖Θͳͯ͘΋ߏจղੳثΛؾ߹Ͱ࣮૷ͯ͠ந৅ߏจ໦ʹ͢Δ͜ͱ΋Մ ೳͰ͢ɻ - ڈ೥ PHP Ͱࡶʹ࡞ͬͨి୎Ͱɼ4 * sqrt((5!
+ 2 ** 8) - (4! + 2 ** 8)) + 5 ͷΑ͏ ͳෳࡶͳܭࢉࣜΛܭࢉͰ͖ΔΑ͏ͳࣈ۟ղੳͱߏจղੳثʢந৅ߏจ໦ʣʹม ׵࣮ͯ͠ߦ·ͰҰ࿈Ͱߦ͏αϯϓϧ͕͋ΔͷͰɼࢀߟʹͰ͖Δͱࢥ͍·͢ɻ - https://gist.github.com/m3m0r7/a5a5af3eb8d118fae78f6a9e18657ec4 ࣈ۟ղੳثɾߏจղੳثͷ࢓૊Έ ※1 PHP ຊମʹ΋͋Γ·͢ https://github.com/php/php-src/blob/php-8.3.4/Zend/zend_language_parser.y 4 * sqrt((5! + 2 ** 8) - (4! + 2 ** 8)) + 5

ೋ࿠ܥϥʔϝϯͷίʔϧΛந৅ߏจ໦ʹͨ͠Α͏ʹ  PHP ΋ಉ༷ʹ࢓૊ΈͰந৅ߏจ໦ ʹͯ͠Έ·͠ΐ͏

PHP ʹஔ͖׵͑ͯΈΑ͏

PHP ʹஔ͖׵͑ͯΈΑ͏ - PHP Ͱந৅ߏจ໦ʢASTʣʹ͢Δ༗໊Ͳ͜Ζͱ͍͑͹ɼnikic/PHP-Parser Ͱ ͠ΐ͏͔ɻPHPStan ͳͲ͕༻͍͍ͯ·͢ʢ※1ʣɻ - ͦ΋ͦ΋ɼnikic/PHP-Parser
͸Ͳ͏͍͏࢓૊ΈͰಈ͍͍ͯΔͷͰ͠ΐ͏͔ɻ - ࣮͸ɼ͍͍ͩͨઌ΄Ͳͷϥʔϝϯೋ࿠ͷίʔϧΛߏจղੳ͢Δͷͱಉ͡࢓૊Έ Ͱ͢ɻͲ͏͍͏͜ͱͰ͠ΐ͏͔ɻ࣍ͷϖʔδͰղઆ͍͖ͯ͠·͢ɻ PHP ʹஔ͖׵͑ͯΈΑ͏ ※1: https://github.com/phpstan/phpstan-src/blob/1.11.x/composer.json#L24

͜ͷίʔυΛ nikic/PHP-Parser ʹ͔͚Δͱ…

ઌ΄Ͳͷೋ࿠ܥϥʔϝϯͷίʔϧ΋  ࣅͨΑ͏ͳܗͰදͤ·͢

͜ΕΛπϦʔͰද͢ͱ…

Namespace Echo BinaryOp\Concat BinaryOp\Plus String BinaryOp\Plus Int Int Int
…stmts …exprs BinaryOp\Concat exprs stmts value: \n value: 3 value: 2 value:1 left left left right right right ʢ஫ʣStmt_ ΍ Expr_ , Scalar_ ͸লུ

গ͠ෳࡶͰ͕͢ɼೋ࿠ܥϥʔϝϯͷίʔϧͷ  πϦʔͱ΄΅ಉ͡ʹݟ͑·͢Ͷʁ

͜ΕΛ࣮ߦ͢Δͱ…

Namespace Echo BinaryOp\Concat BinaryOp\Plus String Int Int …stmts …exprs
BinaryOp\Concat exprs stmts value: \n value: 3 value: 3 left left right right BinaryOp\Plus ʹΑͬͯՃࢉ

Namespace Echo BinaryOp\Concat Int String …stmts …exprs BinaryOp\Concat exprs
stmts value: \n left right value: 6 BinaryOp\Plus ʹΑͬͯՃࢉ

Namespace Echo BinaryOp\Concat …stmts …exprs String exprs stmts right
value: 6\n BinaryOp\Concat ʹΑͬͯ 6 ͱ \n ͕݁߹

Namespace Echo …stmts stmts out: 6\n Echo ʹΑͬͯ 6\n
Λग़ྗ

ந৅ߏจ໦ (AST) ʹ͍ͭͯগ͠  Θ͔ΔΑ͏ʹͳͬͯ͘ΕͨΒ޾͍Ͱ͢

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

二郎系ラーメンのコールで学ぶ AST 解析

二郎系ラーメンのコールで学ぶ AST 解析

More Decks by memory

Other Decks in Programming

Featured

Transcript