いろんなところでScala Compile

Transcript

1. いろんなところで Scala Compile #7 ࢢϲ୩Geek˒Night ʮScalaେ໊ͷฏ੒ҡ৽ʙ఼தͰScalaʂʙʯ 2016೥4݄26೔

2. ABOUT ME 2016年3月に株式会社リクルートマーケティングパートナーズに入社 『スタディサプリ English』『スタディサプリ 英単語』の サーバーサイド、インフラ周りの人。 ▶ 松川 翼

   (まつかわ つばさ) @wing_007

3. Scalaのデメリット

4. Compile遅い。

5. 解決策は…

6. None

7. CPUで どのくらい違うのか

8. AWS,GCP,Macで Compileしてみる

9. GCPは気になっていた プリエンティブルVM 使ってみる

10. プリエンティブルVMとは Google Cloud Platformで提供されている、 AWSでいうスポットインスタンスのようなもの。 GCP側の都合 or UpTime24時間で自動で落ちるが、 安い(7割減)。 参考:

    https://cloudplatform.googleblog.com/2015/05/Introducing-Preemptible-VMs-a-new- class-of-compute-available-at-70-off-standard-pricing.html ※以下PVM

11. コスト ▶ vCPU 32個 + メモリ28.8GB + SSD10GB (asia-east1-a) ▶

    PVM無 $0.943/1h $688.48/1Month ▶ PVM有 $0.354/1h $258.66/1Month ※2016/04/26時点 ※1 か月あたり 730 時間

12. AWSと比較 ▶ PVM無に近い c4.4xlarge (CPUx16,MEM30G) $1.061/1h $774.53/1Month ▶ PVM有に近い m4.xlarge

    (CPUx4,MEM16G) $0.348/1h $254.04/1Month ※2016/04/26時点 ※1 か月あたり 730 時間

13. 条件 ▶ プロジェクト ▶ https://github.com/apache/spark ▶ ファイル数2946 コード行数95万 (ざっくり) ▶

    これをclean compileしてみる ▶ resolveが遅い問題があるので計測するのは2回目 ▶ 環境 ▶ GCP:CentOS7 AWS:Amazon Linux ▶ Scala2.11.7 ▶ SBT13.9 ▶ JDK8

14. 結果 (Mac) ▶ MBPR 13inch (デュアルコア MEM:16GB DISK:SSD) 470sec前後 ▶

    MBPR 15inch (クアッドコア MEM:16GB DISK:SSD) 250sec前後

15. 結果 (GCP) ▶ PVM (vCPU:24 + MEM:28.8GB + DISK:SSD) 250sec前後

    ▶ PVM (vCPU:32 + MEM:28.8GB + DISK:SSD) 210sec前後

16. 結果 (AWS) ▶ aws c4.xlarge (vCPU:4 MEM:7.5G DISK:EBS) 230sec前後 ▶

    aws c4.2xlarge (vCPU:8 MEM:15G DISK:EBS) 170sec前後 ▶ aws c4.4xlarge (vCPU:16 MEM:30G DISK:EBS) 155sec前後 ▶ aws i2.4xlarge (vCPU:8 MEM:15G DISK:EBS) 230sec前後

17. AWSのc4はやい。

18. c4が優秀な理由

19. 計算特化なのでCPU強い ▶ AWS c4.xxxx bogomips : 5800.10 xN ▶ AWS

    i2.xxx bogomips : 4988.18 xN ▶ GCP PVM bogomips : 4999.99 x32 ࢀর: https://ja.wikipedia.org/wiki/BogoMips

20. CPU負荷が かたよる瞬間多め GCP C4

21. CPU数の優位を 活かせていない

22. 現状では Scala Compileには AWS c4インスタンス◎

23. PVMは安くで CPU数確保したいなら◎ コンソールも すごく使いやすくなってた

24. Dotty を心待ちに。

25. ご清聴 ありがとうございました。