Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

型プロファイラ:抽象解釈に基づくRuby 3の静的解析

型プロファイラ:抽象解釈に基づくRuby 3の静的解析

2020-04-17 型システム祭りオンライン
https://opt.connpass.com/event/169724/

Yusuke Endoh

April 20, 2020
Tweet

More Decks by Yusuke Endoh

Other Decks in Programming

Transcript

  1. Yusuke Endoh (@mametter) • クックパッドで Ruby の開発者やってます • フルタイムRubyコミッタ •

    本日は完全なaway • TAPL翻訳しました!!! (マウンティング) 2
  2. Rubyとは • Webアプリの開発でよく使われている言語 • ユーザ:クックパッド、GitHub、AirBnBなど • 現行の欠点は… • 遅い •

    並列実行できない • 静的検証がない 5 ➔Ruby 3の目標は…… → JITで3倍速くする → 並行並列機能を入れる
  3. Rubyとは • Webアプリの開発でよく使われている言語 • ユーザ:クックパッド、GitHub、AirBnBなど • 現行の欠点は… • 遅い •

    並列実行できない • 静的検証がない 5 ➔Ruby 3の目標は…… → JITで3倍速くする → 並行並列機能を入れる → 静的型解析を入れる
  4. Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc: (Integer) -> Integer

    ① 型記述言語 (RBS; ruby-signature) def inc(n) n + 1 end コード ② 型推論 (ruby-type-profiler)
  5. Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc: (Integer) -> Integer

    ① 型記述言語 (RBS; ruby-signature) def inc(n) n + 1 end コード ② 型推論 (ruby-type-profiler) ③ 型検査 (Steep, Sorbet, …)
  6. Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc: (Integer) -> Integer

    ① 型記述言語 (RBS; ruby-signature) def inc(n) n + 1 end コード ② 型推論 (ruby-type-profiler) ③ 型検査 (Steep, Sorbet, …) ①+③=大体TypeScript
  7. Ruby 3の静的型解析のアプローチ Ruby 3は型記述言語・型検査・型推論を提供したい 8 def inc: (Integer) -> Integer

    ① 型記述言語 (RBS; ruby-signature) def inc(n) n + 1 end コード ② 型推論 (ruby-type-profiler) ③ 型検査 (Steep, Sorbet, …) ①+③=大体TypeScript ②=型注釈なし解析を 試みる無謀な挑戦
  8. 話題はたくさんあるけど略 原理的な話 • 関数呼び出し、再帰呼び出し • クロージャ • 型を変更する変数代入 • コンテナ型

    • 型を変更するコンテナ破壊 • flow-sensitiveな解析と エスケープ解析の援用 • any型の扱い • コールスタックなし大域脱出 • 値レベルの言語機能 実用上の話 • 解析速度と精度のトレードオフ • 配列はタプルかつシーケンス • 解析結果の説明性 • 解析未到達コードの解析 • バイトコード解析の制限 • 山ほどあるRuby言語機能 • 複雑すぎるRubyの引数 • オブジェクト指向の扱い • 組み込みライブラリの型 • 型レベル言語機能プラグイン 12 ※まだ未実装のネタも含みます
  9. 普通の型システムとの違い • 普通の型システムはメソッド単位で解析する • 仮引数の型はどうする? • 手書きする(TypeScript他) • 我々の目的には合わない •

    使われ方を見て決める(ML他) • 右のような例で難しい • 構造的部分型? 13 class A def foo = 42 end class B def foo = "str" end def f(n) n.foo #=> 何? end
  10. アジェンダ • Ruby 3の静的型解析の計画 • 型プロファイラ:Ruby 3の型推論器 • ➔デモ •

    3Dトレーサ • 最長共通列ライブラリ • 型プロファイラ自身を型プロファイル • 今後の話(与太話) 15
  11. Demo: ao.rb 17 class Vec @x : Float @y :

    Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec
  12. Demo: ao.rb 17 class Vec @x : Float @y :

    Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec 3Dベクトルのクラス
  13. Demo: ao.rb 17 class Vec @x : Float @y :

    Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec 3Dベクトルのクラス 座標
  14. Demo: ao.rb 17 class Vec @x : Float @y :

    Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec 3Dベクトルのクラス 座標 attr_accessor
  15. Demo: ao.rb 17 class Vec @x : Float @y :

    Float @z : Float initialize : (Float, Float, Float) -> Float x : () -> Float x= : (Float) -> Float ... vadd : (Vec) -> Vec vsub : (Vec) -> Vec vcross : (Vec) -> Vec vdot : (Vec) -> Float vlength : () -> Float vnormalize : () -> Vec 3Dベクトルのクラス ベクトル演算たち 座標 attr_accessor
  16. Demo: ao.rb 18 class Scene @spheres : [Sphere, Sphere, Sphere]

    @plane : Plane initialize : () -> Plane ambient_occlusion : (Isect) -> Vec render : (Integer, Integer, Integer) -> Integer end class Sphere @center : Vec @radius : Float initialize : (Vec, Float) -> Float intersect : (Ray, Isect) -> (NilClass | Vec) end
  17. Demo: ao.rb 18 class Scene @spheres : [Sphere, Sphere, Sphere]

    @plane : Plane initialize : () -> Plane ambient_occlusion : (Isect) -> Vec render : (Integer, Integer, Integer) -> Integer end class Sphere @center : Vec @radius : Float initialize : (Vec, Float) -> Float intersect : (Ray, Isect) -> (NilClass | Vec) end 3つの球
  18. Demo: ao.rb 18 class Scene @spheres : [Sphere, Sphere, Sphere]

    @plane : Plane initialize : () -> Plane ambient_occlusion : (Isect) -> Vec render : (Integer, Integer, Integer) -> Integer end class Sphere @center : Vec @radius : Float initialize : (Vec, Float) -> Float intersect : (Ray, Isect) -> (NilClass | Vec) end 3つの球 球は中心と半径
  19. Demo: ao.rb 19 class Ray @org : Vec @dir :

    Vec initialize : (Vec, Vec) -> Vec org : () -> Vec dir : () -> Vec end class Isect @t : Float @hit : FalseClass | TrueClass @pl : Vec @n : Vec initialize : () -> Vec
  20. Demo: ao.rb 19 class Ray @org : Vec @dir :

    Vec initialize : (Vec, Vec) -> Vec org : () -> Vec dir : () -> Vec end class Isect @t : Float @hit : FalseClass | TrueClass @pl : Vec @n : Vec initialize : () -> Vec 光線は起点と方向
  21. Demo: ao.rb 19 class Ray @org : Vec @dir :

    Vec initialize : (Vec, Vec) -> Vec org : () -> Vec dir : () -> Vec end class Isect @t : Float @hit : FalseClass | TrueClass @pl : Vec @n : Vec initialize : () -> Vec 光線は起点と方向 交点の判定・計算
  22. Demo: ao.rb 19 class Ray @org : Vec @dir :

    Vec initialize : (Vec, Vec) -> Vec org : () -> Vec dir : () -> Vec end class Isect @t : Float @hit : FalseClass | TrueClass @pl : Vec @n : Vec initialize : () -> Vec 光線は起点と方向 交点の判定・計算 交わるか否か boolean相当
  23. diff-lcs解析結果( そこそこ いい感じの例) 22 class Diff::LCS::Change include Comparable @element :

    NilClass | T | any @position : Integer | any @action : :+ | :- | any self.valid_action? : (:! | :+ | :- | :< | :== | :> | any ) -> (FalseClass | TrueClass) action : () -> (String | any ) position : () -> (Integer | any ) element : () -> (NilClass | T | any ) initialize : (String | any , Integer | any , NilClass | T | any ) -> NilClass to_a : () -> ([String | any , Integer | any , NilClass | T | any ]) unchanged? : () -> (FalseClass | TrueClass | any ) end 誤推定っぽいのは薄くしてます
  24. diff-lcs解析結果( そこそこ いい感じの例) 22 class Diff::LCS::Change include Comparable @element :

    NilClass | T | any @position : Integer | any @action : :+ | :- | any self.valid_action? : (:! | :+ | :- | :< | :== | :> | any ) -> (FalseClass | TrueClass) action : () -> (String | any ) position : () -> (Integer | any ) element : () -> (NilClass | T | any ) initialize : (String | any , Integer | any , NilClass | T | any ) -> NilClass to_a : () -> ([String | any , Integer | any , NilClass | T | any ]) unchanged? : () -> (FalseClass | TrueClass | any ) end 列の中の要素 誤推定っぽいのは薄くしてます
  25. diff-lcs解析結果( そこそこ いい感じの例) 22 class Diff::LCS::Change include Comparable @element :

    NilClass | T | any @position : Integer | any @action : :+ | :- | any self.valid_action? : (:! | :+ | :- | :< | :== | :> | any ) -> (FalseClass | TrueClass) action : () -> (String | any ) position : () -> (Integer | any ) element : () -> (NilClass | T | any ) initialize : (String | any , Integer | any , NilClass | T | any ) -> NilClass to_a : () -> ([String | any , Integer | any , NilClass | T | any ]) unchanged? : () -> (FalseClass | TrueClass | any ) end 列の中の要素 追加削除の位置 誤推定っぽいのは薄くしてます
  26. diff-lcs解析結果( そこそこ いい感じの例) 22 class Diff::LCS::Change include Comparable @element :

    NilClass | T | any @position : Integer | any @action : :+ | :- | any self.valid_action? : (:! | :+ | :- | :< | :== | :> | any ) -> (FalseClass | TrueClass) action : () -> (String | any ) position : () -> (Integer | any ) element : () -> (NilClass | T | any ) initialize : (String | any , Integer | any , NilClass | T | any ) -> NilClass to_a : () -> ([String | any , Integer | any , NilClass | T | any ]) unchanged? : () -> (FalseClass | TrueClass | any ) end 列の中の要素 追加削除の位置 追加 or 削除 ※元コードはStringでしたがデモのためSymbolに書き換えた 誤推定っぽいのは薄くしてます
  27. diff-lcs解析結果(難しい例) • 引数に依存して返り値の型が変わるメソッド • diff(ary, ary, DiffCallbacks) ➔ Array[Array[Diff::LCS::Change]] •

    diff(ary, ary, SDiffCallbacks)➔ Array[Diff::LCS::ContextChange] • オーバーロードのRBSは手書きしてください 23 module Diff::LCS self.diff : (Array[T] | Diff::LCS, Array[T] | any, ?NilClass) -> (Array[Array[Diff::LCS::Change | NilClass | any ] | Diff::LCS::Change | Diff::LCS::ContextChange | NilClass | any ] | any ) end
  28. type-profiler解析結果(いい感じの例) 26 class TP::Type include TP::Utils::StructuralEquality self.any : () ->

    TP::Type::Any self.bool : () -> TP::Type::Union self.nil : () -> TP::Type::Instance self.optional : (TP::Type | TP::Type::Any | TP::Type::Array | … | any) -> (TP::Type | TP::Type::Any | TP::Type::Array | … | any) self.guess_literal_type : (any) -> (TP::Type::Any | TP::Type::Array | … | TP::Type::Symbol) … end
  29. type-profilerいろいろ問題点(抜粋) • 再帰データ構造の扱いが微妙 • 巨大なUnionが出てきてつらい • 継承関係を利用してまとめる? • 型のエイリアスをうまく作る? •

    Object#method経由の呼び出しが追えない • 作り込みが足らない ※実際にはもっといっぱい(略) 27 (TP::Type | TP::Type::Any | TP::Type::Array | … | any)
  30. FAQ • X | any は any と同じでは? • おっしゃるとおり

    • でも敵術のプロトタイプ生成には便利なので あえて潰さずに残している 28
  31. 型プロファイラの開発体験? • ずるくないpolyglot • 普通の実行に加え、型レベル実行を意識して書く • 別言語ではないので、そこまで辛くはない(はず) • それでもメリットはある(はず) •

    型注釈なしの記述は疑いなくシンプル • 型プロファイラが解析できる≒素直な良いコード? 32 def foo(n: Integer | String) : Integer | String p n end foo(1) foo("str") def foo(n) p n end foo(1) foo("str") vs.
  32. 進捗と今後 • 現状:やっとスタート地点 • 解析器の基本設計ができた • Rubyのおおよその言語機能がサポートできてきた • 組み込みクラスの知識をRBSから取り込んだ •

    今後:実験と改善を繰り返す • バグの洗い出しと修正 • プログラミング体験の設計と不足機能の実装 • 診断機能、差分更新機能 • Railsアプリ解析用のドライバ開発 • など 33
  33. 説明しなかったこと • オーバーロードの推定は諦めた • 爆発する • オーバーロードするときは基本的に手書きして • 再帰呼び出しはいい感じにできる •

    でも再帰的なデータ構造のハンドリングは微妙 • カスタムメソッド • 型プロファイラプラグイン • インスタンス変数の配列の破壊 • を説明するには、まずコンテナ型がメソッドを跨がらな いことを説明しないと…… 36