Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AkkaStreamsをちゃんと理解して高速化した話.pdf
Search
nhiguchi
October 19, 2021
Programming
0
430
AkkaStreamsをちゃんと理解して高速化した話.pdf
nhiguchi
October 19, 2021
Tweet
Share
Other Decks in Programming
See All in Programming
すべてのコンテキストを、 ユーザー価値に変える
applism118
3
1.3k
「テストは愚直&&網羅的に書くほどよい」という誤解 / Test Smarter, Not Harder
munetoshi
0
170
RailsGirls IZUMO スポンサーLT
16bitidol
0
190
Systèmes distribués, pour le meilleur et pour le pire - BreizhCamp 2025 - Conférence
slecache
0
120
プロダクト志向なエンジニアがもう一歩先の価値を目指すために意識したこと
nealle
0
130
PHP 8.4の新機能「プロパティフック」から学ぶオブジェクト指向設計とリスコフの置換原則
kentaroutakeda
2
900
Rubyでやりたい駆動開発 / Ruby driven development
chobishiba
1
730
Flutterで備える!Accessibility Nutrition Labels完全ガイド
yuukiw00w
0
160
A full stack side project webapp all in Kotlin (KotlinConf 2025)
dankim
0
120
脱Riverpod?fqueryで考える、TanStack Queryライクなアーキテクチャの可能性
ostk0069
0
150
Google Agent Development Kit でLINE Botを作ってみた
ymd65536
2
250
NPOでのDevinの活用
codeforeveryone
0
840
Featured
See All Featured
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
The Language of Interfaces
destraynor
158
25k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
GraphQLとの向き合い方2022年版
quramy
49
14k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Building Applications with DynamoDB
mza
95
6.5k
4 Signs Your Business is Dying
shpigford
184
22k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Music & Morning Musume
bryan
46
6.6k
Transcript
AkkaStreamsを ちゃんと理解して高速化した話 2021/10/11 1
自己紹介 今月から悲願のテレビCM放映中! 求人検索エンジン 樋口直人 エンジニア Scala AWS 2
今日話すこと - AkkaStreamsを使おうとしたきっかけ - AkkaStreamsの構成 - AkkaStreamsで速度が出ずにハマった点とどうやって改善したか - AkkaStreamsを使って良かった点 3
AkkaStreamsを使おうとしたきっかけ - プロダクト開発のメイン言語がScala - 大量の求人に対して様々な加工を行うのでストリーム系フレームワークを使いたい 4 加工 大量の求人 加工 加工
保存
AkkaStreamsの構成 5 Source Sink Flow Flow Flow
AkkaStreamsで速度が出ずにハマった点 mapAsyncに設定した並列度で処理が並列化されず全体として速度が遅い 6 Source Sink Flow Flow Flow 32並列を指定しても、実際は 5並列以下で動作している。
CPUはとても余っているのになぜ?
改善点(1. httpClientの変更) 7 Source Sink Flow Flow Flow httpClientであるsttpのバックエンドにOkHttpを使用していたが、Featureが返ってきてたもののどうもブロッ クキングされていたようだ。
バックエンドをAsyncHttpClientに変更することで大きく改善した。
改善点(2. dispatcherに充分なスレッドを割り当て) 8 Source Sink Flow Flow Flow dispatcher-1 dispatcher-2
dispatcher-3 Flowごとにactorのdispatcher(fork-join-executor)を分けていたが、kamonでスレッド数を確認すると設定値 が小さく足りていなかったようだ。 充分な量のスレッドが生成されるようにした
改善点(3.非同期境界に充分な量のバッファを割り当て) 9 Source Sink Flow Flow Flow 各Flowに.asyncをつけると非同期境界ができ、間にバッファができ、 Actorを分離できる。 ただし、バッファのデフォルト値が
16なので、それ以上の並列度が必要な場合は設定値を上げる。 buffer 16 buffer 16
改善点(4.Flow内の要素の処理順序を無視する) 10 mapAsyncを使用すると要素の処理順を保持するため、時間のかかる要素があると Flow内で待ちが発生し てしまう。 mapAsyncUnorderdを用いると順序を無視して処理が終わった要素から後ろに流れるようになる。 1 2 3 4
5 6 7 8 7 8 1 2 5 6 3 4
AkkaStreamsを使って良かった点 - 自動でバックプレッシャーが走りFlowの制御をしてくれるので、実装したり意識した りする箇所がかなり減る。 - Graphをそのままコード上で表現できるので直感的。 11
AkkaStreamsを用いて、設定した並列度通りに動作する高速で安定したストリーム環境 が作れました! AkkaStreamsの思想としてEasyよりもSimpleを目指しているようなので、慣れるまでは 少し大変でしたが、とても便利で使いやすいです! 12 完