Tweet
Tweet

Slide 1

Slide 1 text

型プロファイラ： 抽象解釈に基づくRuby 3の静的解析 遠藤 侑介（@mametter） 2020/04/17 型システム祭り 1

Slide 2

Slide 2 text

Yusuke Endoh (@mametter) • クックパッドで Ruby の開発者やってます • フルタイムRubyコミッタ • 本日は完全なaway 2

Slide 3

Slide 3 text

Yusuke Endoh (@mametter) • クックパッドで Ruby の開発者やってます • フルタイムRubyコミッタ • 本日は完全なaway • TAPL翻訳しました！！！ （マウンティング） 2

Slide 4

Slide 4 text

アジェンダ • 背景：Ruby 3の静的型解析の計画 • 型プロファイラ：Ruby 3の型推論器 • デモ • 今後の話（与太話） 3

Slide 5

Slide 5 text

アジェンダ • ➔背景：Ruby 3の静的型解析の計画 • Rubyとは • 静的型解析の問題設定とアプローチ • 型プロファイラ：Ruby 3の型推論器 • デモ • 今後の話（与太話） 4

Slide 6

Slide 6 text

Rubyとは • Webアプリの開発でよく使われている言語 • ユーザ：クックパッド、GitHub、AirBnBなど • 現行の欠点は… • 遅い • 並列実行できない • 静的検証がない 5

Slide 7

Slide 7 text

Rubyとは • Webアプリの開発でよく使われている言語 • ユーザ：クックパッド、GitHub、AirBnBなど • 現行の欠点は… • 遅い • 並列実行できない • 静的検証がない 5 ➔Ruby 3の目標は……

Slide 8

Slide 8 text

Rubyとは • Webアプリの開発でよく使われている言語 • ユーザ：クックパッド、GitHub、AirBnBなど • 現行の欠点は… • 遅い • 並列実行できない • 静的検証がない 5 ➔Ruby 3の目標は…… → JITで3倍速くする

Slide 9

Slide 9 text

Rubyとは • Webアプリの開発でよく使われている言語 • ユーザ：クックパッド、GitHub、AirBnBなど • 現行の欠点は… • 遅い • 並列実行できない • 静的検証がない 5 ➔Ruby 3の目標は…… → JITで3倍速くする → 並行並列機能を入れる

Slide 10

Slide 10 text

Rubyとは • Webアプリの開発でよく使われている言語 • ユーザ：クックパッド、GitHub、AirBnBなど • 現行の欠点は… • 遅い • 並列実行できない • 静的検証がない 5 ➔Ruby 3の目標は…… → JITで3倍速くする → 並行並列機能を入れる → 静的型解析を入れる

Slide 11

Slide 11 text

Ruby 3の静的型解析の問題設定 • まつもとゆきひろ（Ruby言語設計者）曰く 6

Slide 12

Slide 12 text

Ruby 3の静的型解析の問題設定 • まつもとゆきひろ（Ruby言語設計者）曰く "I Hate Type Annotation" 6

Slide 13

Slide 13 text

Ruby 3の静的型解析の問題設定 • 実行前にバグの可能性を見つけられることは価値 • ただし、Rubyの開発体験はなるべく維持したい 7

Slide 14

Slide 14 text

Ruby 3の静的型解析の問題設定 • 実行前にバグの可能性を見つけられることは価値 • ただし、Rubyの開発体験はなるべく維持したい • Rubyの開発体験：簡潔さと柔軟性 • 簡潔な記述性は人類にはとても重要 • 動的性や柔軟性は現実世界の運用に役立っている 7

Slide 15

Slide 15 text

Ruby 3の静的型解析の問題設定 • 実行前にバグの可能性を見つけられることは価値 • ただし、Rubyの開発体験はなるべく維持したい • Rubyの開発体験：簡潔さと柔軟性 • 簡潔な記述性は人類にはとても重要 • 動的性や柔軟性は現実世界の運用に役立っている ➔解析の健全性を妥協しバランスのよい点を探す 7

Slide 16

Slide 16 text

Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc(n) n + 1 end コード

Slide 17

Slide 17 text

Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc: (Integer) -> Integer ① 型記述言語 (RBS; ruby-signature) def inc(n) n + 1 end コード

Slide 18

Slide 18 text

Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc: (Integer) -> Integer ① 型記述言語 (RBS; ruby-signature) def inc(n) n + 1 end コード ② 型推論 (ruby-type-profiler)

Slide 19

Slide 19 text

Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc: (Integer) -> Integer ① 型記述言語 (RBS; ruby-signature) def inc(n) n + 1 end コード ② 型推論 (ruby-type-profiler) ③ 型検査 (Steep, Sorbet, …)

Slide 20

Slide 20 text

Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc: (Integer) -> Integer ① 型記述言語 (RBS; ruby-signature) def inc(n) n + 1 end コード ② 型推論 (ruby-type-profiler) ③ 型検査 (Steep, Sorbet, …) ①＋③＝大体TypeScript

Slide 21

Slide 21 text

Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc: (Integer) -> Integer ① 型記述言語 (RBS; ruby-signature) def inc(n) n + 1 end コード ② 型推論 (ruby-type-profiler) ③ 型検査 (Steep, Sorbet, …) ①＋③＝大体TypeScript ②＝型注釈なし解析を 試みる無謀な挑戦

Slide 22

Slide 22 text

アジェンダ • Ruby 3の静的型解析の計画 • ➔型プロファイラ：Ruby 3の型推論器 • 解析アルゴリズムの概要 • 普通の型システムとの違い • デモ • 今後の話（与太話） 9

Slide 23

Slide 23 text

Ruby 3の型推論 • 型プロファイラ：型レベルのRubyインタプリタ • メソッドが受け取った型・返した型を集めて表示する • 型（のようなもの）を抽象値ドメインとする抽象解釈 10 def foo(n) n.to_s end foo(42)

Slide 24

Slide 24 text

Ruby 3の型推論 • 型プロファイラ：型レベルのRubyインタプリタ • メソッドが受け取った型・返した型を集めて表示する • 型（のようなもの）を抽象値ドメインとする抽象解釈 10 def foo(n) n.to_s end foo(42) Integer

Slide 25

Slide 25 text

Ruby 3の型推論 • 型プロファイラ：型レベルのRubyインタプリタ • メソッドが受け取った型・返した型を集めて表示する • 型（のようなもの）を抽象値ドメインとする抽象解釈 10 def foo(n) n.to_s end foo(42) Integer String

Slide 26

Slide 26 text

Ruby 3の型推論 • 型プロファイラ：型レベルのRubyインタプリタ • メソッドが受け取った型・返した型を集めて表示する • 型（のようなもの）を抽象値ドメインとする抽象解釈 10 def foo(n) n.to_s end foo(42) Integer String def foo: (Integer) -> String

Slide 27

Slide 27 text

型プロファイラ：分岐の扱い • 分岐：両方の節を実行して、Union型で合流する • ループ：型を拡大しながら収束するまで繰り返す 11 if rand < 0.5 x = 42 #=> Integer else x = "str" #=> String end p(x) #=> Integer|String

Slide 28

Slide 28 text

話題はたくさんあるけど略 原理的な話 • 関数呼び出し、再帰呼び出し • クロージャ • 型を変更する変数代入 • コンテナ型 • 型を変更するコンテナ破壊 • flow-sensitiveな解析と エスケープ解析の援用 • any型の扱い • コールスタックなし大域脱出 • 値レベルの言語機能 実用上の話 • 解析速度と精度のトレードオフ • 配列はタプルかつシーケンス • 解析結果の説明性 • 解析未到達コードの解析 • バイトコード解析の制限 • 山ほどあるRuby言語機能 • 複雑すぎるRubyの引数 • オブジェクト指向の扱い • 組み込みライブラリの型 • 型レベル言語機能プラグイン 12 ※まだ未実装のネタも含みます

Slide 29

Slide 29 text

普通の型システムとの違い • 普通の型システムはメソッド単位で解析する • 仮引数の型はどうする？ • 手書きする（TypeScript他） • 使われ方を見て決める（ML他） 13

Slide 30

Slide 30 text

普通の型システムとの違い • 普通の型システムはメソッド単位で解析する • 仮引数の型はどうする？ • 手書きする（TypeScript他） • 我々の目的には合わない • 使われ方を見て決める（ML他） 13

Slide 31

Slide 31 text

普通の型システムとの違い • 普通の型システムはメソッド単位で解析する • 仮引数の型はどうする？ • 手書きする（TypeScript他） • 我々の目的には合わない • 使われ方を見て決める（ML他） • 右のような例で難しい • 構造的部分型？ 13 class A def foo = 42 end class B def foo = "str" end def f(n) n.foo #=> 何？ end

Slide 32

Slide 32 text

型プロファイラの主要な問題点 • 解析が遅い（速度と精度のトレードオフ） • 解析の起点（テスト）が必要 • 未使用関数は引数anyとしか言えない • 誤推定は生じる • 解析結果の理解が難しい • 開発体験が未知 • いろいろ工夫を考えながらやってます 14

Slide 33

Slide 33 text

アジェンダ • Ruby 3の静的型解析の計画 • 型プロファイラ：Ruby 3の型推論器 • ➔デモ • 3Dトレーサ • 最長共通列ライブラリ • 型プロファイラ自身を型プロファイル • 今後の話（与太話） 15

Slide 34

Slide 34 text

いい感じのデモ：ao.rb • 3Dレイトレーサ • 300行のトイプログラム • Syoyo Fujita, Hideki Miura作 • https://code.google.com/ archive/p/aobench/ • 若干改変あり 16

Slide 35

Slide 35 text

Demo: ao.rb 17 class Vec @x : Float @y : Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec

Slide 36

Slide 36 text

Demo: ao.rb 17 class Vec @x : Float @y : Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec 3Dベクトルのクラス

Slide 37

Slide 37 text

Demo: ao.rb 17 class Vec @x : Float @y : Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec 3Dベクトルのクラス 座標

Slide 38

Slide 38 text

Demo: ao.rb 17 class Vec @x : Float @y : Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec 3Dベクトルのクラス 座標 attr_accessor

Slide 39

Slide 39 text

Demo: ao.rb 17 class Vec @x : Float @y : Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec 3Dベクトルのクラス ベクトル演算たち 座標 attr_accessor

Slide 40

Slide 40 text

Demo: ao.rb 18 class Scene @spheres : [Sphere, Sphere, Sphere] @plane : Plane initialize : () -> Plane ambient_occlusion : (Isect) -> Vec render : (Integer, Integer, Integer) -> Integer end class Sphere @center : Vec @radius : Float initialize : (Vec, Float) -> Float intersect : (Ray, Isect) -> (NilClass | Vec) end

Slide 41

Slide 41 text

Demo: ao.rb 18 class Scene @spheres : [Sphere, Sphere, Sphere] @plane : Plane initialize : () -> Plane ambient_occlusion : (Isect) -> Vec render : (Integer, Integer, Integer) -> Integer end class Sphere @center : Vec @radius : Float initialize : (Vec, Float) -> Float intersect : (Ray, Isect) -> (NilClass | Vec) end 3つの球

Slide 42

Slide 42 text

Demo: ao.rb 18 class Scene @spheres : [Sphere, Sphere, Sphere] @plane : Plane initialize : () -> Plane ambient_occlusion : (Isect) -> Vec render : (Integer, Integer, Integer) -> Integer end class Sphere @center : Vec @radius : Float initialize : (Vec, Float) -> Float intersect : (Ray, Isect) -> (NilClass | Vec) end 3つの球 球は中心と半径

Slide 43

Slide 43 text

Demo: ao.rb 19 class Ray @org : Vec @dir : Vec initialize : (Vec, Vec) -> Vec org : () -> Vec dir : () -> Vec end class Isect @t : Float @hit : FalseClass | TrueClass @pl : Vec @n : Vec initialize : () -> Vec

Slide 44

Slide 44 text

Demo: ao.rb 19 class Ray @org : Vec @dir : Vec initialize : (Vec, Vec) -> Vec org : () -> Vec dir : () -> Vec end class Isect @t : Float @hit : FalseClass | TrueClass @pl : Vec @n : Vec initialize : () -> Vec 光線は起点と方向

Slide 45

Slide 45 text

Demo: ao.rb 19 class Ray @org : Vec @dir : Vec initialize : (Vec, Vec) -> Vec org : () -> Vec dir : () -> Vec end class Isect @t : Float @hit : FalseClass | TrueClass @pl : Vec @n : Vec initialize : () -> Vec 光線は起点と方向 交点の判定・計算

Slide 46

Slide 46 text

Demo: ao.rb 19 class Ray @org : Vec @dir : Vec initialize : (Vec, Vec) -> Vec org : () -> Vec dir : () -> Vec end class Isect @t : Float @hit : FalseClass | TrueClass @pl : Vec @n : Vec initialize : () -> Vec 光線は起点と方向 交点の判定・計算 交わるか否か boolean相当

Slide 47

Slide 47 text

Demo: ao.rb • いい感じでは？ 20

Slide 48

Slide 48 text

事例：diff-lcs • 最長共通部分列ライブラリ • ダウンロード数4位の 大人気ライブラリ→ • 簡単なテスト↓を起点に解析 21 https://bestgems.org/ require_relative "diff-lcs/lib/diff/lcs" class T; end Diff::LCS.diff([T.new]+[T.new], [T.new]+[T.new]) {}

Slide 49

Slide 49 text

diff-lcs解析結果（ そこそこ いい感じの例） 22 class Diff::LCS::Change include Comparable @element : NilClass | T | any @position : Integer | any @action : :+ | :- | any self.valid_action? : (:! | :+ | :- | :< | :== | :> | any ) -> (FalseClass | TrueClass) action : () -> (String | any ) position : () -> (Integer | any ) element : () -> (NilClass | T | any ) initialize : (String | any , Integer | any , NilClass | T | any ) -> NilClass to_a : () -> ([String | any , Integer | any , NilClass | T | any ]) unchanged? : () -> (FalseClass | TrueClass | any ) end 誤推定っぽいのは薄くしてます

Slide 50

Slide 50 text

diff-lcs解析結果（ そこそこ いい感じの例） 22 class Diff::LCS::Change include Comparable @element : NilClass | T | any @position : Integer | any @action : :+ | :- | any self.valid_action? : (:! | :+ | :- | :< | :== | :> | any ) -> (FalseClass | TrueClass) action : () -> (String | any ) position : () -> (Integer | any ) element : () -> (NilClass | T | any ) initialize : (String | any , Integer | any , NilClass | T | any ) -> NilClass to_a : () -> ([String | any , Integer | any , NilClass | T | any ]) unchanged? : () -> (FalseClass | TrueClass | any ) end 列の中の要素 誤推定っぽいのは薄くしてます

Slide 51

Slide 51 text

diff-lcs解析結果（ そこそこ いい感じの例） 22 class Diff::LCS::Change include Comparable @element : NilClass | T | any @position : Integer | any @action : :+ | :- | any self.valid_action? : (:! | :+ | :- | :< | :== | :> | any ) -> (FalseClass | TrueClass) action : () -> (String | any ) position : () -> (Integer | any ) element : () -> (NilClass | T | any ) initialize : (String | any , Integer | any , NilClass | T | any ) -> NilClass to_a : () -> ([String | any , Integer | any , NilClass | T | any ]) unchanged? : () -> (FalseClass | TrueClass | any ) end 列の中の要素 追加削除の位置 誤推定っぽいのは薄くしてます

Slide 52

Slide 52 text

diff-lcs解析結果（ そこそこ いい感じの例） 22 class Diff::LCS::Change include Comparable @element : NilClass | T | any @position : Integer | any @action : :+ | :- | any self.valid_action? : (:! | :+ | :- | :< | :== | :> | any ) -> (FalseClass | TrueClass) action : () -> (String | any ) position : () -> (Integer | any ) element : () -> (NilClass | T | any ) initialize : (String | any , Integer | any , NilClass | T | any ) -> NilClass to_a : () -> ([String | any , Integer | any , NilClass | T | any ]) unchanged? : () -> (FalseClass | TrueClass | any ) end 列の中の要素 追加削除の位置 追加 or 削除 ※元コードはStringでしたがデモのためSymbolに書き換えた 誤推定っぽいのは薄くしてます

Slide 53

Slide 53 text

diff-lcs解析結果（難しい例） • 引数に依存して返り値の型が変わるメソッド • diff(ary, ary, DiffCallbacks) ➔ Array[Array[Diff::LCS::Change]] • diff(ary, ary, SDiffCallbacks)➔ Array[Diff::LCS::ContextChange] • オーバーロードのRBSは手書きしてください 23 module Diff::LCS self.diff : (Array[T] | Diff::LCS, Array[T] | any, ?NilClass) -> (Array[Array[Diff::LCS::Change | NilClass | any ] | Diff::LCS::Change | Diff::LCS::ContextChange | NilClass | any ] | any ) end

Slide 54

Slide 54 text

diff-lcsで出た警告の例 • flow-sensitiveな解析が必要 ※実際にはもっといっぱい出てます 個別に原因究明して、修正や改善検討をする…… 24 if callbacks.respond_to?(:finished_a) and … … callbacks.finished_a(event) #=>「NilClass#finished_aを呼ぶかも」警告が出る … else

Slide 55

Slide 55 text

事例：type-profiler • 型プロファイラのコード • Rubyで書かれている（5000行くらい）ので • 型プロファイルできる 25

Slide 56

Slide 56 text

type-profiler解析結果（いい感じの例） 26 class TP::Type include TP::Utils::StructuralEquality self.any : () -> TP::Type::Any self.bool : () -> TP::Type::Union self.nil : () -> TP::Type::Instance self.optional : (TP::Type | TP::Type::Any | TP::Type::Array | … | any) -> (TP::Type | TP::Type::Any | TP::Type::Array | … | any) self.guess_literal_type : (any) -> (TP::Type::Any | TP::Type::Array | … | TP::Type::Symbol) … end

Slide 57

Slide 57 text

type-profilerいろいろ問題点（抜粋） • 再帰データ構造の扱いが微妙 • 巨大なUnionが出てきてつらい • 継承関係を利用してまとめる？ • 型のエイリアスをうまく作る？ • Object#method経由の呼び出しが追えない • 作り込みが足らない ※実際にはもっといっぱい（略） 27 (TP::Type | TP::Type::Any | TP::Type::Array | … | any)

Slide 58

Slide 58 text

FAQ • X | any は any と同じでは？ • おっしゃるとおり • でも敵術のプロトタイプ生成には便利なので あえて潰さずに残している 28

Slide 59

Slide 59 text

アジェンダ • Ruby 3の静的型解析の計画 • 型プロファイラ：Ruby 3の型推論器 • デモ • ➔今後の話（与太話） 29

Slide 60

Slide 60 text

polyglot • 2つ（以上）の言語で解釈可能なプログラム • 例：RubyとJavaScriptのpolyglot • コツ：片方の言語だけで解釈されるように頭を使う 30 if (0) print("Hello Ruby") [ここはRuby] else console.log("Hello JS") [ここはJS] // end

Slide 61

Slide 61 text

型付き言語のプログラムはpolyglot • インタプリタが動的な意味で解釈できる • さらに、型システムが静的な意味で解釈できる 31

Slide 62

Slide 62 text

型付き言語のプログラムはpolyglot • インタプリタが動的な意味で解釈できる • さらに、型システムが静的な意味で解釈できる • 型注釈はチート（polyglotの観点では） • 型システムだけに指示を与えられるずるい記述 31

Slide 63

Slide 63 text

型プロファイラの開発体験？ • ずるくないpolyglot • 普通の実行に加え、型レベル実行を意識して書く • 別言語ではないので、そこまで辛くはない（はず） 32

Slide 64

Slide 64 text

型プロファイラの開発体験？ • ずるくないpolyglot • 普通の実行に加え、型レベル実行を意識して書く • 別言語ではないので、そこまで辛くはない（はず） • それでもメリットはある（はず） • 型注釈なしの記述は疑いなくシンプル 32 def foo(n: Integer | String) : Integer | String p n end foo(1) foo("str") def foo(n) p n end foo(1) foo("str") vs.

Slide 65

Slide 65 text

型プロファイラの開発体験？ • ずるくないpolyglot • 普通の実行に加え、型レベル実行を意識して書く • 別言語ではないので、そこまで辛くはない（はず） • それでもメリットはある（はず） • 型注釈なしの記述は疑いなくシンプル • 型プロファイラが解析できる≒素直な良いコード？ 32 def foo(n: Integer | String) : Integer | String p n end foo(1) foo("str") def foo(n) p n end foo(1) foo("str") vs.

Slide 66

Slide 66 text

進捗と今後 • 現状：やっとスタート地点 • 解析器の基本設計ができた • Rubyのおおよその言語機能がサポートできてきた • 組み込みクラスの知識をRBSから取り込んだ • 今後：実験と改善を繰り返す • バグの洗い出しと修正 • プログラミング体験の設計と不足機能の実装 • 診断機能、差分更新機能 • Railsアプリ解析用のドライバ開発 • など 33

Slide 67

Slide 67 text

謝辞 • 三浦さん（mrubyでの先行研究事例） • soutaroさん（RBS、その他議論） • uenoBさんとesumiiさん（アドバイス多数） • matz、akr、ko1などのRuby開発者たち • Sorbetの人たち（Stripe, Shopifyなど） • Jeff Foster（10年の既存研究、別方法の型推論） 34

Slide 68

Slide 68 text

まとめ • Ruby 3は型記述言語・型推論・型検査を 提供したい • 型推論担当の型プロファイラをやってます • （寛容な心で）手伝ってくれる人たのむ！ • https://github.com/mame/ruby-type-profiler 35

Slide 69

Slide 69 text

説明しなかったこと • オーバーロードの推定は諦めた • 爆発する • オーバーロードするときは基本的に手書きして • 再帰呼び出しはいい感じにできる • でも再帰的なデータ構造のハンドリングは微妙 • カスタムメソッド • 型プロファイラプラグイン • インスタンス変数の配列の破壊 • を説明するには、まずコンテナ型がメソッドを跨がらな いことを説明しないと…… 36