ZIOで触るSTM

自己紹介名前: 砂川恵所属: 株式会社FOLIO (もうすぐ入社一年)

注意事項 - ZIOの話をしますがFOLIOではZIOを使っていません - ZIOのversionは1.0.1 - ZIO自体の話はあまりしません, あくまでzio.stm.STMの話に絞る

みなさん並列処理は好きですか？好きですよね？

でも並列処理って難しいですよね親の顔より見た入出金の例 - 口座はそれぞれAtomicで更新する場合はロックを取得する - トランザクションはcommitか rollbackを行うまでは取得したロックを解放しない

口座が二つぐらいなら制御可能だが… 実際は無数の口座を扱うむりぃ。。

その悩みSTMで解決できますよ？

(Software) Transactional Memory - 並列処理を制御するための仕組み/実装 - DBトランザクションのようなトランザクションをメモリ上のデータに対して提供する - 悲観ロック
- commit時にデータの変更を検知し、処理時とのデータの相違があれば先頭から処理をやり直す - Software Transactional Memory(STM)はTransaction Memoryをソフトウェア上(特定の言語上など)で実装したもの

ZIO 元々はscalaz8のIOモナドとして開発されていたライブラリだが、現在はスタンドアロンなライブラリとしてリリースされている。 IOモナドとは元々Haskellの技術で副作用をコンテキストとして持つ値で、副作用が失敗したときの例外処理などをハンドリング/mask/割り込みなどのための様々な関数が定義されている。正しく言うと IO自体はただのデータ型でIOデータ型がモナド型クラスを実装している。 ScalaでのIOモナドは並列処理周りの実装やヘルパー関数も定義されており、 HaskellのIOモナドよりさらに機能が拡張されている場合が多い。 IO値は遅延性のタスクであり、定義のみでは実行されず
run関数を発火することで実行することができる、さらに IOは再利用可能であるため、 run関数はなんども呼び出すことができる (その度に副作用タスクが実行される)。IOはモナドを実装しているため合成が可能で、一般的には for syntaxを利用して逐次処理同様に書くことができる。scalaに置けるIOの代表的な実装としてはcats.effect.IOがあり、IOの類似や派生としてmonix TaskやZIOが存在する。これらは総称してエフェクトラッパーと呼ばれることがある。 ZIOはIOモナドにさらにDI機能を追加したりエラー型を任意の型に束縛できるようにしたりとさらにリッチにしたもので型として ZIO[R, E, A]となりRがDIするmoduleの型、Eがエラー型、AがIOタスクの戻り値となる。Rの値にはaccessM関数でアクセスすることが可能でこれの戻り値は ZIOとなり、つまりRにアクセスする場合は必ず ZIOコンテキストになる。ZIOはそのほかにもSTMやStreamなど並列処理を行うに当たって有用なモジュールも提供されており、大体の処理を ZIOのみで完結できるようになっている、反対に cats.effect.IOなどとの相互変改も提供されており他エフェクトラッパーとの共存や、移行などもやりやすいようになっている。

ZIO 長い、三行で - 副作用をラップし、再実行可能なタスクとして変数に束縛できる - 並列処理用のモジュールが提供されている - DI機能とかも提供されている

ZIOで提供されているモジュール(一例) - ZIO DI機能付きエフェクトラッパー - Fiber マイクロスレッド - Ref AtomicRefalence
- Semaphore セマフォ - Chunk Arrayベースのハイパフォーマンス Collection - Queue 非同期で利用可能なQueue - Managed Closableなリソースを扱うためのモジュール (≒ cats.effect.Resource) - STM 悲観ロックトランザクション - Stream stream処理

zio.stm.STM https://gist.github.com/keiSunagawa/13b30afae7e3b017a0ab5bdd75efa30c 口座はTRefとして表現される口座(トランザクション処理対象の値)を任意数作成する関数片方の口座から出金もう片方の口座へ入金をするトランザクション処理 STM操作を合成してひとつのトランザクションを生成できる
この戻り値のSTMをさらに合成して大きなトランザクションにすることもできる USTM[A]はSTM[Nothing, A]の type alias

zio.stm.STM https://gist.github.com/keiSunagawa/13b30afae7e3b017a0ab5bdd75efa30c STM#commitを呼び出すことでトランザクションを実行できるコミット後はIOタスクになる (遅延実行) forkはprogram0の返す IOタスクを並列で実行する

zio.stm.STMに置けるロールバック - コミット時に値の変更を検査し、自分のトラザクション以外から変更されていた場合ロールバックし、処理をやり直す - 当然ロールバックできるのはメモリ上のデータ(TRefインスタンス)だけ - つまりSTMトランザクション内では副作用を実行できない

zio.stm.STMに置けるコミット - メモリ上のデータ(TRefインスタンス)を更新する - コミット時のTRefに対する値の検査と更新処理はsynchronized blockで実行される - 更新すべき値が多いほどこのblock時間が長くなる

まとめ - STMは並列処理上に悲観ロックトランザクションを提供するもの - ユーザはロックの概念を意識せず、任意数のobjectを扱える - ZIOではSTMの実装が提供されている - DBトランザクションのようにコミット/ロールバックの概念が存在する
- ロールバックが発生した場合はトランザクションの先頭から処理をやりなおす - コミット処理はsynchronized blockで実行される

時間があれば、実装の話をしたい - TRefはVersion付けされた値を持つ https://github.com/zio/zio/blob/master/core/shared/src/main/scala/zio/stm/ZTRef.scala#L175-L178 - Versionedはただの値のwrapper class 新しいversion = 新しいインスタンス
https://github.com/zio/zio/blob/master/core/shared/src/main/scala/zio/stm/ZSTM.scala#L1500

時間があれば、実装の話をしたい - トランザクションではjournalと言うMapを引き回し、値を更新(set関数呼び出し)をした場合はVersionedの値ではなく、更新予定の値をjournalに記録していく(そのとき現在のVersion付きの値も一緒に格納する) https://github.com/zio/zio/blob/master/core/shared/src/main/scala/zio/stm/ZTRef.scala#L214-L219 https://github.com/zio/zio/blob/master/core/shared/src/main/scala/zio/stm/ZTRef.scala#L309-L316 journalに追加するだけ entryは現在参照中の
Versionedと更新予定の値を持つ入れ物

時間があれば、実装の話をしたい - synchronized block内でversionチェック関数とvalidな場合はcommitを行う https://github.com/zio/zio/blob/master/core/shared/src/main/scala/zio/stm/ZSTM.scala#L1752-L1754 https://github.com/zio/zio/blob/master/core/shared/src/main/scala/zio/stm/ZSTM.scala#L1544-L1549 https://github.com/zio/zio/blob/master/core/shared/src/main/scala/zio/stm/ZSTM.scala#L1838 isValidはjournalに保存した versionと現在のversionが同一か調べる(expectedは
journalに保存したversion)

ご静聴ありがとうございました

ZIOで触るSTM

ZIOで触るSTM

keiSunagawa

Featured

Transcript