Tweet
Tweet

Slide 1

Slide 1 text

Good to know yaml

Slide 2

Slide 2 text

self.introduction.to_yaml

Slide 3

Slide 3 text

今日話すこと/話さないこと 今日話すこと - YAMLのAST周り (※ざっくり) - 実世界でYAMLのASTを理解して解決できる問題とは 今日話さないこと - syckについて - Psych::Nodes以外はあまり触れない - yamlの詳細な仕様について - JSONとの規格の違い

Slide 4

Slide 4 text

基本編

Slide 5

Slide 5 text

YAMLとPsych

Slide 6

Slide 6 text

yamlとは https://en.wikipedia.org/wiki/YAML

Slide 7

Slide 7 text

yamlとは (簡潔に & ほぼ「るびま」からコピペ) - 構造化されたデータを表現するためのフォーマット - YAMLでは主に次の 3 つの組み合わせでデータを表現する - Sequence: Rubyで言うと `Array` - Mapping: Rubyで言うと `Hash` - Scalar: (文字列、数値、真偽値など ) https://magazine.rubyist.net/articles/0009/0009-YAML.html

Slide 8

Slide 8 text

gem ‘psych’とは - yamlのバックエンドライブラリ(Ruby 1.9.3から標準化) - YAML バージョン 1.1に対応 - 過去のyamlバックエンドライブラリは `Syck ` - YAML バージョン 1.0に対応していた - libyamlのRubyで扱えるwrapper - `YAML.load`, `.load_file`, `.parse`, `.parse_file`とかをよく使うと思うんですけど、 Rubyオブジェクトへの変換処理はgem ‘psych’ が担っています https://github.com/ruby/psych

Slide 9

Slide 9 text

Psych::Nodes

Slide 10

Slide 10 text

Psych::Nodes::Stream - AST のルートノード - ノードの子ノードは1個以上 && Psych::Nodes::Documentオブジェクトである - `#children` で Array にアクセス出来る https://docs.ruby-lang.org/ja/latest/class/Psych=3a=3aNodes=3a=3aStream.html

Slide 11

Slide 11 text

Psych::Nodes::Document - Psych::Nodes::Stream の子ノード - 1個の子ノードを持つ - 子ノードは以下のいずれかのインスタンス - Psych::Nodes::Sequence - Psych::Nodes::Mapping - Psych::Nodes::Scalar - 唯一の子ノードには `#root` でアクセス出来る https://docs.ruby-lang.org/ja/latest/class/Psych=3a=3aNodes=3a=3aDocument.html

Slide 12

Slide 12 text

Psych::Nodes::Mapping - Rubyで言うところの `Hash` - 0 個以上の子ノードを持つ - 子ノードの個数は偶数である - 子ノードは以下のいずれかのインスタンス - Psych::Nodes::Sequence - Psych::Nodes::Mapping - Psych::Nodes::Scalar - Psych::Nodes::Alias https://docs.ruby-lang.org/ja/latest/class/Psych=3a=3aNodes=3a=3aMapping.html

Slide 13

Slide 13 text

Psych::Nodes::Scalar - ASTの葉ノード #<- これだけでも覚えて帰ってくだ さい - よって、子ノード(children)を持ちません - `#value` でscalarの値にアクセスできる https://docs.ruby-lang.org/ja/latest/class/Psych=3a=3aNodes=3a=3aScalar.html

Slide 14

Slide 14 text

Psych::Nodes::Sequence - Rubyで言うところの `Array` - 0 個以上の子ノードを持つ - 子ノードは以下のいずれかのインスタンス - Psych::Nodes::Sequence - Psych::Nodes::Mapping - Psych::Nodes::Scalar - Psych::Nodes::Alias https://docs.ruby-lang.org/ja/latest/class/Psych=3a=3aNodes=3a=3aSequence.html

Slide 15

Slide 15 text

Psych::Nodes::Alias - ASTの葉ノード - よって、子ノード(children)を持ちません
 - `#anchor` で別の YAML の要素を指す https://docs.ruby-lang.org/ja/latest/class/Psych=3a=3aNodes=3a=3aAlias.html

Slide 16

Slide 16 text

ちょっと詳しく

Slide 17

Slide 17 text

こんなyamlがあったとさ

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

No content

Slide 20

Slide 20 text

No content

Slide 21

Slide 21 text

実践編

Slide 22

Slide 22 text

[問題] 重複したkeyを持つyamlファイルの検出 - grepだと階層構造意識できず辛い - `YAML.load_file(‘/sample.yml’)` 時には既に消失 - Hash#mergeと同じで同名keyがある場合は上書かれます - Rubyで検出する方法 is ... ※リッチなIDEとかだとwarning出してくれることを昨日知ったのは話さない

Slide 23

Slide 23 text

[問題] 重複したkeyを持つyamlファイルの検出 - gem 'doorkeeper' に活きがいいyml があったのでそれを使います - ↑ファイルに重複したkeyを仕込みま した - 計: 147行のymlファイル https://gist.github.com/MITSUBOSHI/5085468e763c5cd74854df854f8e4ae8

Slide 24

Slide 24 text

案1 オープンクラス https://gist.github.com/MITSUBOSHI/82840c8bad7a07f722ae241bd7f8e892

Slide 25

Slide 25 text

案1 オープンクラス 解決 https://gist.github.com/MITSUBOSHI/82840c8bad7a07f722ae241bd7f8e892

Slide 26

Slide 26 text

案2 Psych::TreeBuilderの継承 https://gist.github.com/MITSUBOSHI/77e4903e6a6274a30b997488234d535c

Slide 27

Slide 27 text

案2 Psych::TreeBuilderの継承 解決 https://gist.github.com/MITSUBOSHI/77e4903e6a6274a30b997488234d535c

Slide 28

Slide 28 text

案3 ASTから頑張る - `Psych::Handler#end_mapping` (`Psych::TreeBuilder` の継承元クラス)を使った ほうが断然スマートではある - けど、YAMLのAST nodeの理解のためにちょっと頑張ってみる

Slide 29

Slide 29 text

過去(平成時代)の自分への挑戦 - 某何かで重複したmapping keyを持つyamlファイルがあった - すごくイラッとした - YAMLのASTから検出出来るんじゃない？と思って頑張った - 当時 `Psych::Handler#end_mapping` を知らなかった... - 今見ると何をしているのかわからない実装... https://gist.github.com/MITSUBOSHI/ef3e8724715ed094f7737372186e59ed

Slide 30

Slide 30 text

※コードの断片

Slide 31

Slide 31 text

読めない

Slide 32

Slide 32 text

gem ‘yamcha’ なので、今回の登壇を期に作り直して、gemにしました 名前の由来は - Yaml Checker -> やむちぇ -> やむちゃ -> Yamcha(飲茶) ※栽培マンに負けるほど貧弱なgemです https://github.com/MITSUBOSHI/yamcha

Slide 33

Slide 33 text

Yamchaの構成 Yamcha::Validator -> メインで呼び出される Yamcha::Composer -> ASTからhashを組み立てるもの Yamcha::NodeResolver -> AST nodeを上手い感じで隠蔽する なにか (※上手い感じ = 雰囲気)

Slide 34

Slide 34 text

Yamcha::NodeResolver

Slide 35

Slide 35 text

Yamcha::NodeResolver#resolver

Slide 36

Slide 36 text

Yamcha::NodeResolver::Base ※Abstract Class

Slide 37

Slide 37 text

Yamcha::NodeResolver::Mapping

Slide 38

Slide 38 text

Yamcha::NodeResolver::Scalar

Slide 39

Slide 39 text

Yamcha::Composer

Slide 40

Slide 40 text

Yamcha::Composer#recursively_compose

Slide 41

Slide 41 text

Yamcha::Composer

Slide 42

Slide 42 text

Yamcha::Composer#scalar_and_sequence?

Slide 43

Slide 43 text

Yamcha::Composer#scalar_and_mapping?

Slide 44

Slide 44 text

Yamcha::Composer#scalar_and_saclar?

Slide 45

Slide 45 text

Yamcha::Validator

Slide 46

Slide 46 text

Yamcha::Validator::DuplicatedMappingKey

Slide 47

Slide 47 text

Yamcha::Composer#compose_hash

Slide 48

Slide 48 text

案3 ASTから頑張る 解決 https://github.com/MITSUBOSHI/yamcha

Slide 49

Slide 49 text

時間の関係上出来ていないこと(言い訳) - Psych::Nodes::Aliasに未対応 - database.yml等はalias記法用いることが多いと思っているが、mapping keyの 重複しがちなケースは肥大化しがちなi18n系のymlであって... - Psych::Nodes::Scalarを値は文字列のまま - Psych::Nodes::Sequenceの対応雑

Slide 50

Slide 50 text

Psych::Nodes::Sequenceの対応雑 - SequenceのchildrenがMappingであるケースが考慮できていない

Slide 51

Slide 51 text

参考資料 - https://github.com/ruby/psych - https://magazine.rubyist.net/articles/0009/0009-YAML.html 関連の記事(※syckについて) - https://ruby-doc.org/stdlib-2.6.5/libdoc/psych/rdoc/Psych.html - https://docs.ruby-lang.org/ja/latest/library/psych.html - https://www.arp242.net/yaml-config.html

Slide 52

Slide 52 text

Thank you!!

Slide 53

Slide 53 text

時間が余ったら

Slide 54

Slide 54 text

Psych::ScalarScanner - YAMLのScalar型を読み込み、Rubyのbuilt-in型に変換するクラス - gem ‘yamcha’ ではScalar型を文字列のまま放置している実装だった - Psych::Nodes::Nodeを継承するクラスインスンタンスの`#to_ruby` 実行時に呼ば れる - 「このScalar型は最終的にRubyでは何のクラスとして扱われるのか？」を知るのに 便利 & 楽しい https://docs.ruby-lang.org/ja/latest/class/Psych=3a=3aScalarScanner.html

Slide 55

Slide 55 text

No content

Slide 56

Slide 56 text

https://github.com/ruby/psych/blob/master/lib/psych/scalar_scanner.rb ※コードの断片

Slide 57

Slide 57 text

Thank you again!!