Upgrade to Pro — share decks privately, control downloads, hide ads and more …

いろんなところでScala Compile

C6a8cb5e13aa716521d522471ec4e4cd?s=47 ma2k8
April 26, 2016

いろんなところでScala Compile

市ヶ谷Geek☆Night「Scala大名の平成維新〜殿中でScala!〜」のLTで発表予定の資料です。

C6a8cb5e13aa716521d522471ec4e4cd?s=128

ma2k8

April 26, 2016
Tweet

Transcript

  1. いろんなところで Scala Compile #7 ࢢϲ୩Geek˒Night ʮScalaେ໊ͷฏ੒ҡ৽ʙ఼தͰScalaʂʙʯ 2016೥4݄26೔

  2. ABOUT ME 2016年3月に株式会社リクルートマーケティングパートナーズに入社 『スタディサプリ English』『スタディサプリ 英単語』の サーバーサイド、インフラ周りの人。 ▶ 松川 翼

    (まつかわ つばさ) @wing_007
  3. Scalaのデメリット

  4. Compile遅い。

  5. 解決策は…

  6. None
  7. CPUで どのくらい違うのか

  8. AWS,GCP,Macで Compileしてみる

  9. GCPは気になっていた プリエンティブルVM 使ってみる

  10. プリエンティブルVMとは Google Cloud Platformで提供されている、 AWSでいうスポットインスタンスのようなもの。 GCP側の都合 or UpTime24時間で自動で落ちるが、 安い(7割減)。 参考:

    https://cloudplatform.googleblog.com/2015/05/Introducing-Preemptible-VMs-a-new- class-of-compute-available-at-70-off-standard-pricing.html ※以下PVM
  11. コスト ▶ vCPU 32個 + メモリ28.8GB + SSD10GB (asia-east1-a) ▶

    PVM無 $0.943/1h $688.48/1Month ▶ PVM有 $0.354/1h $258.66/1Month ※2016/04/26時点 ※1 か月あたり 730 時間
  12. AWSと比較 ▶ PVM無に近い c4.4xlarge (CPUx16,MEM30G) $1.061/1h $774.53/1Month ▶ PVM有に近い m4.xlarge

    (CPUx4,MEM16G) $0.348/1h $254.04/1Month ※2016/04/26時点 ※1 か月あたり 730 時間
  13. 条件 ▶ プロジェクト ▶ https://github.com/apache/spark ▶ ファイル数2946 コード行数95万 (ざっくり) ▶

    これをclean compileしてみる ▶ resolveが遅い問題があるので計測するのは2回目 ▶ 環境 ▶ GCP:CentOS7 AWS:Amazon Linux ▶ Scala2.11.7 ▶ SBT13.9 ▶ JDK8
  14. 結果 (Mac) ▶ MBPR 13inch (デュアルコア MEM:16GB DISK:SSD) 470sec前後 ▶

    MBPR 15inch (クアッドコア MEM:16GB DISK:SSD) 250sec前後
  15. 結果 (GCP) ▶ PVM (vCPU:24 + MEM:28.8GB + DISK:SSD) 250sec前後

    ▶ PVM (vCPU:32 + MEM:28.8GB + DISK:SSD) 210sec前後
  16. 結果 (AWS) ▶ aws c4.xlarge (vCPU:4 MEM:7.5G DISK:EBS) 230sec前後 ▶

    aws c4.2xlarge (vCPU:8 MEM:15G DISK:EBS) 170sec前後 ▶ aws c4.4xlarge (vCPU:16 MEM:30G DISK:EBS) 155sec前後 ▶ aws i2.4xlarge (vCPU:8 MEM:15G DISK:EBS) 230sec前後
  17. AWSのc4はやい。

  18. c4が優秀な理由

  19. 計算特化なのでCPU強い ▶ AWS c4.xxxx bogomips : 5800.10 xN ▶ AWS

    i2.xxx bogomips : 4988.18 xN ▶ GCP PVM bogomips : 4999.99 x32 ࢀর: https://ja.wikipedia.org/wiki/BogoMips
  20. CPU負荷が かたよる瞬間多め GCP C4

  21. CPU数の優位を 活かせていない

  22. 現状では Scala Compileには AWS c4インスタンス◎

  23. PVMは安くで CPU数確保したいなら◎ コンソールも すごく使いやすくなってた

  24. Dotty を心待ちに。

  25. ご清聴 ありがとうございました。