Java 5.0時代の非同期処理技術から学び直すScala/Java非同期処理

1.

Java 5.0時代の非同期処理技術から学び直す Scala/Java 非同期処理マーベリック株式会社リチャード伊真岡

2.

現代のアプリケーション開発は非同期処理が重要

3.

モバイルアプリケーションでの同時多発的な処理

4.

処理がまずいと...

5.

サーバー側でも様々な処理を同時に行う

6.

ZIO CatsEffect Monix Future Akka チュートリアルを見ればそれっぽい物は書ける... Finagle

7.

今日のながれ • 抽象度の低いものから高いものへと少しずつ学ぶ • Java5.0からの歴史を学ぶ、各技術の背景とつながりを学ぶ

8.

マルチスレッド Multi-threaded Concurrent Asynchronous 平行非同期用語について

9.

マルチスレッド Multi-threaded Concurrent Asynchronous 平行用語についてこのスライドでは「非同期」という単語をよく使うが平行・マルチスレッド処理でもある物が中心非同期

10.

None

11.

Java Memory Model と Java 5 の非同期処理

12.

None

13.

None

14.

Oracle Concurrency guide https://docs.oracle.com/javase/tutorial/essentia l/concurrency/ 今日一番覚えておいてほしい資料！！！

15.

Thread & Runnable public class MyRunnable implements Runnable { public
void run() { ... } } Thread thread = new Thread(new MyRunnable()); thread.start();

16.

None

17.

java.util.concurrent (Java 5.0 以降)

18.

ExecutorService ExecutorService service = …; service.execute(runnable);

19.

None

20.

None

21.

None

22.

非同期で起こる問題の一例

23.

thread interference (非atomic処理) class Counter { private int c =
0; public void increment() { c++; } public void decrement() { c--; } public int value() { return c; } }

24.

None

25.

None

26.

1. Thread A: int c 取得 2. Thread B: int
c 取得 3. Thread A: 取得した値をIncrement 4. Thread B: 取得した値をDecrement 5. Thread A: cに1を書き込み 6. Thread B: cに-1を書き込み (6が5を上書き)

27.

synchronized class Counter { private int c = 0; public
synchronized void increment() { c++; } public synchronized void decrement() { c--; } public int value() { return c; } }

28.

None

29.

None

30.

None

31.

synchronized atomic happens-before

32.

happens-before

33.

None

34.

None

35.

None

36.

data race (memory-consistency error)

37.

順番(happens-before)があれば期待される状態を導ける

38.

None

39.

少なくともどちらか一方が writeである場合 conﬂicting access data race (問題) の原因

40.

Java Memory Model Java 5.0 (1.5) からの導入 https://www.cs.umd.edu/~pugh/java/memoryModel /jsr133.pdf http://gee.cs.oswego.edu/dl/jmm/cookbook.html
http://www.cs.umd.edu/~pugh/java/memoryModel/

41.

非同期処理の理論的な研究 Java Memory Modelは当時の学術的な非同期処理研究にもとづいて作られている。

42.

Java 5.0ではSynchronizedの他にも data raceを避けるツールが導入された

43.

java.util.concurrent.locks Lock ReadWriteLock Condition ReentrantLock ...

44.

volatile “write to a volatile variable establishes a happens-before relationship
with subsequent reads of that same variable” volatile int counter = 0;

45.

atomic java.util.concurrent.atomic AtomicInteger AtomicBoolean AtomicLong AtomicReference ... //CAS operation boolean
compareAndSet(expectedValue, updateValue); CASはCPUでサポートされた操作 java.util.concurrent.atomicはそれを利用する

46.

　1.CAS成功例

47.

　2.CAS成功例

48.

　3.CAS成功例 memory location value == expected

49.

　1.CAS失敗例

50.

　2.CAS失敗例

51.

　3.CAS失敗例 memory location value != expected

52.

thread-safe collections java.util.concurrent ConcurrentHashMap ConcurrentLinkedQueue ... CASを利用

53.

• Java Memory Model 仕様 ◦ happens-before ◦ volatile, synchonized,
locks • java.util.concurrency ツール ◦ locks, atomic, ExecutorService, thread-safe collections ◦ これらをうまく使うパターン、抽象度の更に高いツールは後年 Java 1.4 -> 5.0 時代のまとめ

54.

ここまでの話は後でくり返し出てきます！

55.

OSとCPU

56.

Netﬂixのパフォーマンス分析エンジニア Brendan Gregg氏が2013年に書いた CPUやメモリの動作がOSレベルでどう使われているかについて参考になる章がある http://www.brendangregg.com/sysperfbook.html

57.

None

58.

CPUとキャッシュ Stack Exchange - Where exactly L1, L2 and L3
Caches located in computer? https://superuser.com/questions/1961 43/where-exactly-l1-l2-and-l3-caches-loc ated-in-computer キャッシュは「スレッドごとのメモリ空間」に関わる -> data race -> happens-before

59.

CPUとキャッシュ Stack Exchange - Where exactly L1, L2 and L3
Caches located in computer? https://superuser.com/questions/1961 43/where-exactly-l1-l2-and-l3-caches-loc ated-in-computer キャッシュは「スレッドごとのメモリ空間」に関わる -> data race -> happens-before data race (memory-consistency error)

60.

None

61.

None

62.

None

63.

同時に走るスレッドは高々CPUコア数

64.


65.


66.


67.

GUIとThread

68.

A Swing programmer deals with the following kinds of threads:
• Initial threads, the threads that execute initial application code. • The event dispatch thread, where all event-handling code is executed. Most code that interacts with the Swing framework must also execute on this thread. • Worker threads, also known as background threads, where time-consuming background tasks are executed. スレッド使用例 Swing guide UI framework (Java 5.0以前から使われていた) https://docs.oracle.com/javase/tutorial/uiswing /concurrency/index.html

69.

None

70.

None

71.

None

72.

None

73.

BrowserのEvent Loop

74.

None

75.

event loop

76.

event loop

77.

main() function funC(c) { … //make an ajax call }
function funcB(b) { return funcC(b); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop

78.

funcA() main() function funC(c) { … //make an ajax call
} function funcB(b) { return funcC(b); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop

79.

funcB() funcA() main() function funC(c) { … //make an ajax
call } function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop

80.

call } function funcB(b) { return funcC(b); } function funcA(a) { return funcB(a); } funcA(“my user data string”); funcC() call stack event loop

81.

call } function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); funcC() call stack event loop ajax コール

82.


83.


84.

funcA() main() function funC(c) { … //make an ajax call
} function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop

85.

main() function funC(c) { … //make an ajax call }
function funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); call stack event loop

86.

function funC(c) { … //make an ajax call } function
funcB(b) { return funcC(c); } function funcA(a) { return funcB(a); } funcA(“my user data string”); event loop ajax コールバックタスクキュー

87.

タスクキューも含めたアニメーション

88.

ajax コール

89.

ajax コールバック

90.

None

91.

None

92.

None

93.

関数型プログラミングと immutable object

94.

少なくともどちらか一方が writeである場合 conﬂicting accessは data race (問題) の原因

95.

Java Memory Model でもdata raceは主要な関心事 https://www.cs.umd.edu/~pugh/java/memoryMod el/jsr133.pdf http://gee.cs.oswego.edu/dl/jmm/cookbook.html http://www.cs.umd.edu/~pugh/java/memoryModel/

96.

None

97.

None

98.

オブジェクトを変更する際は新しいインスタンスを作成、元のオブジェクトはそのまま

99.

Oracle Concurrency guide もimmutable objectに言及している • setterダメ • ﬁnal,
private • ...

100.

None

101.

Akkaとactor model

102.

rich, realtime -> 状態 ?

103.

IDを持つオブジェクトの内部状態が変化する例

104.

IDでクエリ

105.

IDでクエリ

106.

IDを持つオブジェクトのインスタンスが複数スレッドに存在する場合

107.

どのスレッドに対してクエリ？

108.

デーモンスレッドにオブジェクトのインスタンスを保持

109.


110.


111.

None

112.

クエリはできたしかし...

113.

少なくともどちらか一方が writeである場合 conﬂicting accessは data race (問題) の原因

114.

conﬂicting accessはの正しい管理は難しい

115.

conﬂicting accessはの正しい管理は難しい

116.

shared mutable: 複雑さの元凶 shared mutable: おもしろさの源

117.

アプリケーションの状態をすべてデータベースで管理する方法

118.

データベース周りのソースコードが複雑

119.

複雑さのバランスをアプリケーション側との間でとる

120.

オブジェクトの内部状態

121.

Actorでオブジェクトの内部状態を隠蔽

122.

Actorどうしはメッセージを送り合って通信

123.

Akka actorコードサンプル actor ! message class MyActor extends Actor {
var state = ... def receive = { case MessageTypeX => ... case MessageTypeY => ... case MessageTypeZ => ... } }

124.

SenderはReceiverのスレッドセーフなキューにメッセージを送る

125.

None

126.

複数Senderから同時にメッセージを送ることが可能

127.

Akka actorのメッセージキューはデフォルトで ConcurrentLinkedQueue

128.


129.


130.

Receiver側の動作を追っていく

131.

None

132.

単一のスレッドがReceiverの receiveメソッドを走らせるスレッド1 スレッド2

133.

スレッド1 スレッド2 Receiverはキューから一つずつメッセージを取り出し処理する

134.

スレッド1 スレッド2 Receiverの実行スレッドは入れ替わることがある

135.

ActorのReceiveメソッドはいかなる時も最大一つのスレッドによって実行スレッド0 スレッド1 スレッド2

136.

スレッド0 スレッド1 Receiverはキューからメッセージがなくなったら次を待つ

137.

Akka oﬃcial documentation https://doc.akka.io/docs/akka/current/general/jmm. html#actors-and-the-java-memory-model 自分でvolatileを使う必要はない Akkaが面倒を見てくれる ActorのReceiveメソッドはいかなる時も最大一つのスレッド
によって実行

138.

None

139.

volatile “write to a volatile variable establishes a happens-before relationship
with subsequent reads of that same variable”

140.

> さらにvolatileな変数をreadするとき、read側のスレッドは最新のvolatile変数の変更のみならず、そこへ至るまでのコードの副作用まで観測することになる Oracle concurrency guide

141.

akkaのDispatcherは内部で ExecutorServiceへの参照を持つ akkaの ! メソッドはDispatcher のdispatchメソッドの内部で ExecutorServiceのexcecuteメソッドを呼ぶするとThread Poolに対して
Actorのreceiveメソッドをスケジュールする Dispatcher Thread Pool ExecutorService dispatch() execute()

142.

Akka actor modelまとめ • shared mutableは難しいが重要な場合がある • actor modelはshared mutable管理の一つの解
• AkkaはJava 5.0時代からのツールを内部で使う

143.

関数型方面の近年の進化

144.

Scalaで非同期処理を主要機能に含むライブラリ Scala標準 Monix Cats Effect ZIO

145.

共通なパターン

146.

Cats Effect SemaphoreやMVarなどの低レベルな非同期処理のパーツを acquire, releaseなどのコンビネータとともに定義 https://typelevel.org/cats-effect/

147.

Cats Effect 安全に非同期処理の低レベルなbuilding blockを実装

148.

Cats Effect Scalaのfor文とモナドを組み合わせるテクニックによってChainingを実現型安全なので各処理ステップの戻り値型とエラー型が合わなければコンパイラがエラーで教えてくれる https://typelevel.org/cats-effect/

149.

https://typelevel.org/cats-effect/

150.

https://typelevel.org/cats-effect/ Swing GUI Event Dispatcher Background Threads Main Thread

151.

https://typelevel.org/cats-effect/ https://typelevel.org/cats-effect/ Event Loop Event Loop Service Worker Web API/File
IO

152.

https://typelevel.org/cats-effect/ https://typelevel.org/cats-effect/ Akka Default Dispatcher Future on thread pool IO
thread pool

153.

今話題のEnvoyでもEvent Loopモデルは取り入れられているここまでの話を踏まえれば比較的容易に理解できるはず https://blog.envoyproxy.io/envoy-threading- model-a8d44b922310

154.

ZIO try/catchブロックを型安全に行う例ファイルやデータベースのリソース開放に便利 https://zio.dev/

155.

ZIO こちらもコンビネータを使って Chainingを行うことができる https://zio.dev/

156.

None

157.

None

158.

ZIO ﬁberもAkka Actorsも軽量スレッドとしての役割を果たす。 OSスレッドはメモリ使用量も多くかつスイッチングコストも高いので、軽量スレッドのほうが効率が良い OS
Threads Actors OS Threads Fibers Akka ZIO

159.

自分の過去 • 新卒から9年間自社言語: シングルスレッド・同期IOのみ • Javaの非同期怖かった • actor modelの実装であるAkkaに興味を持つ

160.

非同期処理を楽しく学ぶ • わかりにくかったら抽象度の低いものを先に学ぶのもアリ • 今回の発表からひとつだけでも興味を持って欲しい

161.

マーベリックではエンジニア募集中

162.

文献 https://twitter.com/csgillespie/status/… CPUクロック周波数に関するグラフ付きツイート。 Computer Hope processor history https://www.computerhope.com/history/processor.htm AMDが2005年に初のdual-coreを発売など。

163.

Oracle Concurrency guide https://docs.oracle.com/javase/tutorial/… Java 5.0やそれ以前から続く非同期処理技術に詳しい。 Java Memory ModelとJava 5.0
Oracle Concurrency in Swing guide https://docs.oracle.com/javase/tutorial/uiswing/... UIでのスレッド管理プラクティスとして一部今も通用する。

164.

The JSR-133 Cookbook for Compiler Writers　 http://gee.cs.oswego.edu/dl/jmm/cookbook.html JSR-133に深く関わったDoug Lea教授による情報。 The
Java Memory Model　 http://www.cs.umd.edu/~pugh/java/memoryModel/ JSR-133仕様書に載っていない周辺情報。 Simple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms https://www.cs.rochester.. ConcurrentLinkedQueue実装に使われたアルゴリズム。 JSR-133 https://www.cs.umd.edu/~pugh/… Java Memory Model仕様書。happens-beforeを始め様々な概念やコンパイラ最適化の影響などが解説されている。

165.

OSとCPU Systems Performance https://www.amazon.com/gp… Netﬂixのパフォーマンス分析エンジニアBrendan Gregg氏による著書。CPUとスレッドについての章がある。 Brendan Gregg’s Home
page http://www.brendangregg.com/overview.html Brendan Gregg氏の著書にも関わる様々な情報がある See How a CPU works https://youtu.be/cNN_tTXABUA Scott CPUという教育用の仮想的なCPUを題材に動画で解説している。

166.

GUIとThread The Node.js Event Loop, Timers, and process.nextTick() https://nodejs.org/uk/docs/guides/... 公式ドキュメント。各フェーズ毎の詳細な解説。
GitHub: libuv https://github.com/libuv/libuv/... node.js内部で使われているイベントループの実装を含む非同期I/Oライブラリ。Cで書かれている。 YouTube: What the heck is the event loop anyway? JSConf https://youtu.be/8aGhZQkoFbQ アニメーションを駆使したevent loop解説。100万再生以上。

167.

MDN web docs: Concurrency model and Event Loop https://developer.mozilla.org/en-US/docs/... MozillaによるEvent
Loop解説 Akka docs: https://akka.io/docs/ 公式のドキュメント edX: Programming Reactive Systems https://www.edx.org/... AkkaのメンテナであったKonrad Malawski氏が中心となって作ったオンライン学習コース Akkaとactor model

168.

関数型方面の進化(Scala) Monix https://monix.io/ イベント駆動で高パフォーマンスな非同期プログラムを書くサポートをするライブラリ。 Cats Effect https://typelevel.org/cats-effect/ I/Oを表す型を提供するライブラリ。同期および非同期の Effectを表現することができる。
ZIO https://zio.dev/ 型安全でcomposableで非同期な処理をかけるライブラリ。

169.

YouTube: The Making of an IO - Daniel Spiewak https://youtu.be/g_jP47HFpWA
関数型プログラムと非同期処理の関係を説明。Cats Effectの思想やスレッドプール使い分けベストプラクティスにも触れる

Java 5.0時代の非同期処理技術から学び直すScala/Java非同期処理

Java 5.0時代の非同期処理技術から学び直すScala/Java非同期処理

Want more?

Transcript