Java 5.0時代の非同期処理技術から学び直すScala/Java非同期処理

Transcript

1. Java 5.0時代の非同期処理技術から学び直す Scala/Java 非同期処理 マーベリック株式会社 リチャード 伊真岡
2. 現代のアプリケーション開発は 非同期処理が重要
3. モバイルアプリケーションでの 同時多発的な処理
4. 処理がまずいと...
5. サーバー側でも様々な処理を 同時に行う
6. ZIO CatsEffect Monix Future Akka チュートリアルを見れば それっぽい物は書ける... Finagle
7. 今日のながれ • 抽象度の低いものから高いものへと少しずつ学ぶ • Java5.0からの歴史を学ぶ、各技術の背景とつながりを学ぶ
8. マルチスレッド Multi-threaded Concurrent Asynchronous 平行 非同期 用語について
9. マルチスレッド Multi-threaded Concurrent Asynchronous 平行 用語について このスライドでは「非同期」という単語をよく使うが 平行・マルチスレッド処理でもある物が中心 非同期
11. Java Memory Model と Java 5 の非同期処理
14. Oracle Concurrency guide https://docs.oracle.com/javase/tutorial/essentia l/concurrency/ 今日一番覚えておいて ほしい資料！！！
15. Thread & Runnable public class MyRunnable implements Runnable { public void run() { ... } } Thread thread = new Thread(new MyRunnable()); thread.start();
17. java.util.concurrent (Java 5.0 以降)
18. ExecutorService ExecutorService service = …; service.execute(runnable);
22. 非同期で起こる問題の一例
23. thread interference (非atomic処理) class Counter { private int c = 0; public void increment() { c++; } public void decrement() { c--; } public int value() { return c; } }
26. 1. Thread A: int c 取得 2. Thread B: int c 取得 3. Thread A: 取得した値をIncrement 4. Thread B: 取得した値をDecrement 5. Thread A: cに1を書き込み 6. Thread B: cに-1を書き込み (6が5を上書き)
27. synchronized class Counter { private int c = 0; public synchronized void increment() { c++; } public synchronized void decrement() { c--; } public int value() { return c; } }
31. synchronized atomic happens-before
32. happens-before
36. data race (memory-consistency error)
37. 順番(happens-before)があれば 期待される状態を導ける
39. 少なくともどちらか一方が writeである場合 conflicting access data race (問題) の原因
40. Java Memory Model Java 5.0 (1.5) からの導入 https://www.cs.umd.edu/~pugh/java/memoryModel /jsr133.pdf http://gee.cs.oswego.edu/dl/jmm/cookbook.html http://www.cs.umd.edu/~pugh/java/memoryModel/
41. 非同期処理の理論的な研究 Java Memory Modelは当時の学術 的な非同期処理研究にもとづい て作られている。
42. Java 5.0ではSynchronizedの他にも data raceを避けるツールが導入された
43. java.util.concurrent.locks Lock ReadWriteLock Condition ReentrantLock ...
44. volatile “write to a volatile variable establishes a happens-before relationship with subsequent reads of that same variable” volatile int counter = 0;
45. atomic java.util.concurrent.atomic AtomicInteger AtomicBoolean AtomicLong AtomicReference ... //CAS operation boolean compareAndSet(expectedValue, updateValue); CASはCPUでサポートされた操作 java.util.concurrent.atomicはそれを利用する
46. 　1.CAS成功例
47. 　2.CAS成功例
48. 　3.CAS成功例 memory location value == expected
49. 　1.CAS失敗例
50. 　2.CAS失敗例
51. 　3.CAS失敗例 memory location value != expected
52. thread-safe collections java.util.concurrent ConcurrentHashMap ConcurrentLinkedQueue ... CASを利用
53. • Java Memory Model 仕様 ◦ happens-before ◦ volatile, synchonized, locks • java.util.concurrency ツール ◦ locks, atomic, ExecutorService, thread-safe collections ◦ これらをうまく使うパターン、抽象度の更に高いツールは後年 Java 1.4 -> 5.0 時代のまとめ
54. ここまでの話は後でくり返し出てきます！
55. OSとCPU
56. Netflixのパフォーマンス分析エンジニア Brendan Gregg氏が2013年に書いた CPUやメモリの動作がOSレベルでどう使わ れているかについて参考になる章がある http://www.brendangregg.com/sysperfbook.html
58. CPUとキャッシュ Stack Exchange - Where exactly L1, L2 and L3 Caches located in computer? https://superuser.com/questions/1961 43/where-exactly-l1-l2-and-l3-caches-loc ated-in-computer キャッシュは「スレッド ごとのメモリ空間」に関 わる -> data race -> happens-before
59. CPUとキャッシュ Stack Exchange - Where exactly L1, L2 and L3 Caches located in computer? https://superuser.com/questions/1961 43/where-exactly-l1-l2-and-l3-caches-loc ated-in-computer キャッシュは「スレッド ごとのメモリ空間」に関 わる -> data race -> happens-before data race (memory-consistency error)
63. 同時に走るスレッドは 高々CPUコア数
64. 同時に走るスレッドは 高々CPUコア数
65. 同時に走るスレッドは 高々CPUコア数
66. 同時に走るスレッドは 高々CPUコア数
67. GUIとThread
68. A Swing programmer deals with the following kinds of threads: • Initial threads, the threads that execute initial application code. • The event dispatch thread, where all event-handling code is executed. Most code that interacts with the Swing framework must also execute on this thread. • Worker threads, also known as background threads, where time-consuming background tasks are executed. スレッド使用例 Swing guide UI framework (Java 5.0以前から使われていた) https://docs.oracle.com/javase/tutorial/uiswing /concurrency/index.html
73. BrowserのEvent Loop
75. event loop
76. event loop
77. main() function funC(c) { … //make an ajax call } function funcB(b) { return funcC(b); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop
78. funcA() main() function funC(c) { … //make an ajax call } function funcB(b) { return funcC(b); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop
79. funcB() funcA() main() function funC(c) { … //make an ajax call } function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop
80. funcB() funcA() main() function funC(c) { … //make an ajax call } function funcB(b) { return funcC(b); } function funcA(a) { return funcB(a); } funcA(“my user data string”); funcC() call stack event loop
81. funcB() funcA() main() function funC(c) { … //make an ajax call } function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); funcC() call stack event loop ajax コール
82. funcB() funcA() main() function funC(c) { … //make an ajax call } function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop
83. funcB() funcA() main() function funC(c) { … //make an ajax call } function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop
84. funcA() main() function funC(c) { … //make an ajax call } function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop
85. main() function funC(c) { … //make an ajax call } function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop
86. function funC(c) { … //make an ajax call } function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); event loop ajax コールバック タスクキュー
87. タスクキューも含めたアニメーション
88. ajax コール
89. ajax コールバック
93. 関数型プログラミングと immutable object
94. 少なくともどちらか一方が writeである場合 conflicting accessは data race (問題) の原因
95. Java Memory Model でもdata raceは主要な関心事 https://www.cs.umd.edu/~pugh/java/memoryMod el/jsr133.pdf http://gee.cs.oswego.edu/dl/jmm/cookbook.html http://www.cs.umd.edu/~pugh/java/memoryModel/
98. オブジェクトを変更する際は新しいインスタンス を作成、元のオブジェクトはそのまま
99. Oracle Concurrency guide もimmutable objectに 言及している • setterダメ • final, private • ...
101. Akkaとactor model
102. rich, realtime -> 状態 ?
103. IDを持つオブジェクトの内部状態が変化する例
104. IDでクエリ
105. IDでクエリ
106. IDを持つオブジェクトのインスタンスが 複数スレッドに存在する場合
107. どのスレッドに対して クエリ？
108. デーモンスレッドにオブジェクトのインスタンスを保持
109. デーモンスレッドにオブジェクトのインスタンスを保持
110. デーモンスレッドにオブジェクトのインスタンスを保持
112. クエリはできたしかし...
113. 少なくともどちらか一方が writeである場合 conflicting accessは data race (問題) の原因
114. conflicting accessはの正しい管理は難しい
115. conflicting accessはの正しい管理は難しい
116. shared mutable: 複雑さの元凶 shared mutable: おもしろさの源
117. アプリケーションの状態をすべて データベースで管理する方法
118. データベース周りの ソースコードが複雑
119. 複雑さのバランスを アプリケーション側 との間でとる
120. オブジェクトの内部状態
121. Actorでオブジェクトの内部状態を隠蔽
122. Actorどうしはメッセージを送り合って通信
123. Akka actorコードサンプル actor ! message class MyActor extends Actor { var state = ... def receive = { case MessageTypeX => ... case MessageTypeY => ... case MessageTypeZ => ... } }
124. SenderはReceiverのスレッドセーフなキューに メッセージを送る
126. 複数Senderから同時に メッセージを送ることが可能
127. Akka actorのメッセージキューは デフォルトで ConcurrentLinkedQueue
128. Akka actorのメッセージキューは デフォルトで ConcurrentLinkedQueue
129. Akka actorのメッセージキューは デフォルトで ConcurrentLinkedQueue
130. Receiver側の動作を追っていく
132. 単一のスレッドがReceiverの receiveメソッドを走らせる スレッド1 スレッド2
133. スレッド1 スレッド2 Receiverはキューから一つずつ メッセージを取り出し処理する
134. スレッド1 スレッド2 Receiverの実行スレッドは 入れ替わることがある
135. ActorのReceiveメソッドは いかなる時も最大一つのスレッド によって実行 スレッド0 スレッド1 スレッド2
136. スレッド0 スレッド1 Receiverはキューからメッセージ がなくなったら次を待つ
137. Akka official documentation https://doc.akka.io/docs/akka/current/general/jmm. html#actors-and-the-java-memory-model 自分でvolatileを使う 必要はない Akkaが面倒を見てくれる ActorのReceiveメソッドは いかなる時も最大一つのスレッド によって実行
139. volatile “write to a volatile variable establishes a happens-before relationship with subsequent reads of that same variable”
140. > さらにvolatileな変数をreadす るとき、read側のスレッドは最 新のvolatile変数の変更のみなら ず、そこへ至るまでのコードの 副作用まで観測することになる Oracle concurrency guide
141. akkaのDispatcherは内部で ExecutorServiceへの参照を持つ akkaの ! メソッドはDispatcher のdispatchメソッドの内部で ExecutorServiceのexcecuteメ ソッドを呼ぶ するとThread Poolに対して Actorのreceiveメソッドをスケ ジュールする Dispatcher Thread Pool ExecutorService dispatch() execute()
142. Akka actor modelまとめ • shared mutableは難しいが重要な場合がある • actor modelはshared mutable管理の一つの解 • AkkaはJava 5.0時代からのツールを内部で使う
143. 関数型方面の近年の進化
144. Scalaで非同期処理を主要機能に含むライブラリ Scala標準 Monix Cats Effect ZIO
145. 共通なパターン
146. Cats Effect SemaphoreやMVarなどの 低レベルな非同期処理の パーツを acquire, releaseなどの コンビネータとともに定義 https://typelevel.org/cats-effect/
147. Cats Effect 安全に非同期処理の低レベ ルなbuilding blockを実装
148. Cats Effect Scalaのfor文とモナドを組 み合わせるテクニックに よってChainingを実現 型安全なので各処理ステッ プの戻り値型とエラー型が 合わなければコンパイラが エラーで教えてくれる https://typelevel.org/cats-effect/
149. https://typelevel.org/cats-effect/
150. https://typelevel.org/cats-effect/ Swing GUI Event Dispatcher Background Threads Main Thread
151. https://typelevel.org/cats-effect/ https://typelevel.org/cats-effect/ Event Loop Event Loop Service Worker Web API/File IO
152. https://typelevel.org/cats-effect/ https://typelevel.org/cats-effect/ Akka Default Dispatcher Future on thread pool IO thread pool
153. 今話題のEnvoyでもEvent Loopモデルは取り入れられ ている ここまでの話を踏まえれば 比較的容易に理解できるは ず https://blog.envoyproxy.io/envoy-threading- model-a8d44b922310
154. ZIO try/catchブロックを型安全に 行う例 ファイルやデータベースのリ ソース開放に便利 https://zio.dev/
155. ZIO こちらもコンビネータを使って Chainingを行うことができる https://zio.dev/
158. ZIO fiberもAkka Actorsも 軽量スレッドとしての役割を果 たす。 OSスレッドはメモリ使用量も多 くかつスイッチングコストも高 いので、軽量スレッドのほうが 効率が良い OS Threads Actors OS Threads Fibers Akka ZIO
159. 自分の過去 • 新卒から9年間自社言語: シングルスレッド・同期IOのみ • Javaの非同期怖かった • actor modelの実装であるAkkaに興味を持つ
160. 非同期処理を楽しく学ぶ • わかりにくかったら抽象度の低いものを先に学ぶのもアリ • 今回の発表からひとつだけでも興味を持って欲しい
161. マーベリックではエンジニア募集中
162. 文献 https://twitter.com/csgillespie/status/… CPUクロック周波数に関するグラフ付きツイート。 Computer Hope processor history https://www.computerhope.com/history/processor.htm AMDが2005年に初のdual-coreを発売など。
163. Oracle Concurrency guide https://docs.oracle.com/javase/tutorial/… Java 5.0やそれ以前から続く非同期処理技術に詳しい。 Java Memory ModelとJava 5.0 Oracle Concurrency in Swing guide https://docs.oracle.com/javase/tutorial/uiswing/... UIでのスレッド管理プラクティスとして一部今も通用する。
164. The JSR-133 Cookbook for Compiler Writers　 http://gee.cs.oswego.edu/dl/jmm/cookbook.html JSR-133に深く関わったDoug Lea教授による情報。 The Java Memory Model　 http://www.cs.umd.edu/~pugh/java/memoryModel/ JSR-133仕様書に載っていない周辺情報。 Simple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms https://www.cs.rochester.. ConcurrentLinkedQueue実装に使われたアルゴリズム。 JSR-133 https://www.cs.umd.edu/~pugh/… Java Memory Model仕様書。happens-beforeを始め様々な概 念やコンパイラ最適化の影響などが解説されている。
165. OSとCPU Systems Performance https://www.amazon.com/gp… Netflixのパフォーマンス分析エンジニアBrendan Gregg氏に よる著書。CPUとスレッドについての章がある。 Brendan Gregg’s Home page http://www.brendangregg.com/overview.html Brendan Gregg氏の著書にも関わる様々な情報がある See How a CPU works https://youtu.be/cNN_tTXABUA Scott CPUという教育用の仮想的なCPUを題材に動画で解説 している。
166. GUIとThread The Node.js Event Loop, Timers, and process.nextTick() https://nodejs.org/uk/docs/guides/... 公式ドキュメント。各フェーズ毎の詳細な解説。 GitHub: libuv https://github.com/libuv/libuv/... node.js内部で使われているイベントループの実装を含む非同 期I/Oライブラリ。Cで書かれている。 YouTube: What the heck is the event loop anyway? JSConf https://youtu.be/8aGhZQkoFbQ アニメーションを駆使したevent loop解説。100万再生以上。
167. MDN web docs: Concurrency model and Event Loop https://developer.mozilla.org/en-US/docs/... MozillaによるEvent Loop解説 Akka docs: https://akka.io/docs/ 公式のドキュメント edX: Programming Reactive Systems https://www.edx.org/... AkkaのメンテナであったKonrad Malawski氏が中心となって 作ったオンライン学習コース Akkaとactor model
168. 関数型方面の進化(Scala) Monix https://monix.io/ イベント駆動で高パフォーマンスな非同期プログラムを書くサ ポートをするライブラリ。 Cats Effect https://typelevel.org/cats-effect/ I/Oを表す型を提供するライブラリ。同期および非同期の Effectを表現することができる。 ZIO https://zio.dev/ 型安全でcomposableで非同期な処理をかけるライブラリ。
169. YouTube: The Making of an IO - Daniel Spiewak https://youtu.be/g_jP47HFpWA 関数型プログラムと非同期処理の関係を説明。Cats Effectの思想 やスレッドプール使い分けベストプラクティスにも触れる