Upgrade to Pro — share decks privately, control downloads, hide ads and more …

大規模並行処理バッチシステムのAWS移行

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for t-kuroiwa t-kuroiwa
May 31, 2019
Technology
330
0

 大規模並行処理バッチシステムのAWS移行

Avatar for t-kuroiwa

t-kuroiwa

May 31, 2019

Other Decks in Technology

See All in Technology
同じWAFが、攻撃の“形”は弾く── 正当な“形”の不正は通す
Avatar for kuroneko kuroneko13
0
250
コネクションをピン留めさせずに SELECTクエリのタイムアウトを設定した話
Avatar for コドモン開発チーム codmoninc
0
180
【GCC2026】TrueHDRIを用いたルックデブ環境とライティングテクニック
Avatar for Bandai Namco Studios Inc. bandainamcostudios
PRO
0
130
AI開発に用いられるHPC技術について
Avatar for GPU UNITE gpuunite_official
0
180
社内の7割が使うデータ基盤を、 データチーム2人で回すためにやったこと
Avatar for KOH koh_yoshi
4
1.5k
AIに持続⼒を与える 判断の⻑期記憶設計
Avatar for eiei114 eiei114
1
440
AI・HPC開発を支えるGPU環境の新しい選択肢 液冷GPUシステム「AquSys」の取り組み
Avatar for GPU UNITE gpuunite_official
0
160
Invisible to AI? Making TYPO3 Sites Quotable by AI Search Systems
Avatar for Wolfgang Wagner wolfgangwagner
0
240
AIに狂うスタートアップが、あえて「人との協働」に全振りした新卒エンジニア研修 / New Graduate Engineer Training at a Startup Accelerating AI Adoption
Avatar for akira ohno ohnoeight
0
160
MIXIで活躍できるエンジニアを 若手社員目線で考えてみる
Avatar for MIXI ENGINEERS mixi_engineers
PRO
0
110
ソフトウェアサプライチェーンの構造的リスクとコンテナ環境の保護
Avatar for Kyohei Mizumoto kyohmizu
5
740
2027年のMetricKit
Avatar for Kanta Oikawa kantacky
0
130

Featured

See All Featured
Why Mistakes Are the Best Teachers: Turning Failure into a Pathway for Growth
Avatar for Umar Saidu Auna auna
0
210
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
Avatar for UX Y'all uxyall
0
370
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
Avatar for Aleyda Solis aleyda
1
2.1k
My Coaching Mixtape
Avatar for mlcsv mlcsv
0
250
How to audit for AI Accessibility on your Front & Back End
Avatar for davetheseo davetheseo
0
500
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
Avatar for Ines Montani inesmontani
PRO
3
2.4k
Done Done
Avatar for chrislema chrislema
186
16k
Designing for humans not robots
Avatar for Tammie Lister tammielis
254
26k
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
Avatar for Aleyda Solis aleyda
1
1.3k
StorybookのUI Testing Handbookを読んだ
Avatar for Shingo Yamazaki zakiyama
31
6.9k
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
Avatar for Tomoya Matsuura tomoyanonymous
3
1.1k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
Avatar for Joe Casabona jcasabona
35
2.8k

Transcript

  1. 2 0 1 9 / 5 / 3 1 大規模並行処理バッチシステムの

    移行

  2. 利幸（くろいわ としゆき） 年入社 年間在籍 • • • 行、お酒

  3. 年 2017年 2018年 年 2014年 2015年 2016年 2017年 2018年 率200％

    率推移 率推移 年7月21日～8月6日

  4. 行したのか？ 行の歴史

  5. 行したのか？ 行の歴史

  6. None

  7. 理で、非常に重要なバッチの一つ。 行処理にて 了しないと

  8. 理時間

  9. None
  10. None

  11. 行時間が超過。 行時間の要件を満たせなくなった。 行したのか？ 行

  12. 行したのか？ 行の歴史

  13. None
  14. None
  15. None
  16. None
  17. None

  18. 度不足により、要件を満たせない

  19. None
  20. None

  21. 度不足により、

  22. None
  23. None

  24. 度不足により、要件を満たせない

  25. None

  26. 行したのか？ 行の歴史

  27. 行時間を短くできないか？

  28. 理 行処理 行時間

  29. 率 理

  30. None

  31.  理における、 行処理  理に必要な分だけ、 理後に自動停止   理分散の方式で、コンテナ起動時、キューからデータ

  32.  料  裏で動作するec2インスタンスが費用対象となる。  量課金制 理時間が短縮。

  33. None
  34. None

  35. 率

  36. 理数 理時間

  37. 行したのか？ 行の歴史

  38. 行型バッチについては、AWSbatchを使用することで、 行時間の短縮が劇的に行えることが分かった。 理をしなくて済む。(運用が楽)

  39. None
  40. None