いろんなところでScala Compile

市ヶ谷Geek☆Night「Scala大名の平成維新〜殿中でScala！〜」のLTで発表予定の資料です。

Transcript

1. いろんなところで Scala Compile #7 ࢢϲ୩Geek˒Night ʮScalaେ໊ͷฏ੒ҡ৽ʙ఼தͰScalaʂʙʯ 2016೥4݄26೔
2. ABOUT ME 2016年3月に株式会社リクルートマーケティングパートナーズに入社 『スタディサプリ English』『スタディサプリ 英単語』の サーバーサイド、インフラ周りの人。 ▶ 松川 翼 (まつかわ つばさ) @wing_007
3. Scalaのデメリット
4. Compile遅い。
5. 解決策は…
7. CPUで どのくらい違うのか
8. AWS,GCP,Macで Compileしてみる
9. GCPは気になっていた プリエンティブルVM 使ってみる
10. プリエンティブルVMとは Google Cloud Platformで提供されている、 AWSでいうスポットインスタンスのようなもの。 GCP側の都合 or UpTime24時間で自動で落ちるが、 安い(7割減)。 参考: https://cloudplatform.googleblog.com/2015/05/Introducing-Preemptible-VMs-a-new- class-of-compute-available-at-70-off-standard-pricing.html ※以下PVM
11. コスト ▶ vCPU 32個 + メモリ28.8GB + SSD10GB (asia-east1-a) ▶ PVM無 $0.943/1h $688.48/1Month ▶ PVM有 $0.354/1h $258.66/1Month ※2016/04/26時点 ※1 か月あたり 730 時間
12. AWSと比較 ▶ PVM無に近い c4.4xlarge (CPUx16,MEM30G) $1.061/1h $774.53/1Month ▶ PVM有に近い m4.xlarge (CPUx4,MEM16G) $0.348/1h $254.04/1Month ※2016/04/26時点 ※1 か月あたり 730 時間
13. 条件 ▶ プロジェクト ▶ https://github.com/apache/spark ▶ ファイル数2946 コード行数95万 (ざっくり) ▶ これをclean compileしてみる ▶ resolveが遅い問題があるので計測するのは2回目 ▶ 環境 ▶ GCP:CentOS7 AWS:Amazon Linux ▶ Scala2.11.7 ▶ SBT13.9 ▶ JDK8
14. 結果 (Mac) ▶ MBPR 13inch (デュアルコア MEM:16GB DISK:SSD) 470sec前後 ▶ MBPR 15inch (クアッドコア MEM:16GB DISK:SSD) 250sec前後
15. 結果 (GCP) ▶ PVM (vCPU:24 + MEM:28.8GB + DISK:SSD) 250sec前後 ▶ PVM (vCPU:32 + MEM:28.8GB + DISK:SSD) 210sec前後
16. 結果 (AWS) ▶ aws c4.xlarge (vCPU:4 MEM:7.5G DISK:EBS) 230sec前後 ▶ aws c4.2xlarge (vCPU:8 MEM:15G DISK:EBS) 170sec前後 ▶ aws c4.4xlarge (vCPU:16 MEM:30G DISK:EBS) 155sec前後 ▶ aws i2.4xlarge (vCPU:8 MEM:15G DISK:EBS) 230sec前後
17. AWSのc4はやい。
18. c4が優秀な理由
19. 計算特化なのでCPU強い ▶ AWS c4.xxxx bogomips : 5800.10 xN ▶ AWS i2.xxx bogomips : 4988.18 xN ▶ GCP PVM bogomips : 4999.99 x32 ࢀর: https://ja.wikipedia.org/wiki/BogoMips
20. CPU負荷が かたよる瞬間多め GCP C4
21. CPU数の優位を 活かせていない
22. 現状では Scala Compileには AWS c4インスタンス◎
23. PVMは安くで CPU数確保したいなら◎ コンソールも すごく使いやすくなってた
24. Dotty を心待ちに。
25. ご清聴 ありがとうございました。