データはどこからくるの？～AWSとオンプレとの違いで学んだあれやこれ～

データはどこからくるの？〜AWSとオンプレとの違いで学んだあれやこれ〜
https://jawsug-bgnr.connpass.com/event/162144/
JAWS-UG 初心者支部#22 Fin-JAWSコラボ＆ミニハンズオン会で登壇頂いた大熊さんのスライドです

Transcript

1. データはどこからくるの？ 〜AWSとオンプレとの違いで学んだあれやこれ〜 2020年1月29日 株式会社QUICK 大熊 香里
2. 2 Copyright © 2019 QUICK Corp. All Rights Reserved. 会社紹介 [社名] 株式会社QUICK [設立] 1971年10月1日 [代表者] 代表取締役社長　近藤　勝義 [事業内容] 日本経済新聞社グループの金融情報サービス会社として、世界の証券・ 金融情報をはじめ、政治・経済情報をリアルタイムで配信。資産運用支 援、注文執行業務の支援、情報ネットワーク構築支援サービスなど、証 券・金融市場に関連する総合的なソリューションの提供。
3. 3 Copyright © 2019 QUICK Corp. All Rights Reserved. 自己紹介 名前：大熊　香里　※ぜひ気軽に「くまちゃん」と呼んでください 所属：株式会社QUICK 趣味：登山（37/100登頂）、猫 好きなAWSサービス：Lambda ◆◆◆2019年＋α　AWSマイトピック◆◆◆ 2018年秋：AWSの初めての仕事Route53、SES設定 2018年12月7日：はじめてのJAWS-UG 初心者支部 2019年2月：はじめてのJAWS DAYS 2019 2019年5月：はじめてのAWS Summit Tokyo 2019年9月：ソリューションアーキテクト取得 2019年12月：はじめてのre:Invent！！ 本日　　　：はじめての登壇！！
4. 4 Copyright © 2019 QUICK Corp. All Rights Reserved. ターゲット ・どのようにAWSを使っているか事例を知りたい人 ・AWS（クラウド）を使うことの良さって何？ 　と思っている人 ・いやいやみんないいこと話過ぎでしょ、 　ほんとはいろいろ失敗とかあるでしょ、 　　と失敗からの教訓も聞きたいよという人
5. 5 Copyright © 2019 QUICK Corp. All Rights Reserved. アジェンダ １．データはどこからくるの？ ２．AWS(特にサーバレス)の良さって何？ ３．慣れてきた頃の大失敗
6. 6 Copyright © 2019 QUICK Corp. All Rights Reserved. １．データはどこからくるの？ [事業内容] 日本経済新聞社グループの金融情報サービス会社として、世界の証券・ 金融情報をはじめ、政治・経済情報をリアルタイムで配信。資産運用支 援、注文執行業務の支援、情報ネットワーク構築支援サービスなど、証 券・金融市場に関連する総合的なソリューションの提供。 今日は配信するデータがどこからやってくるかを話します。
7. 7 Copyright © 2019 QUICK Corp. All Rights Reserved. １．データはどこからくるの？ 金融のデータといえば、株価だよね？ 株価なら取引所からでしょ？専用線でしょ？
8. 8 Copyright © 2019 QUICK Corp. All Rights Reserved. １．データはどこからくるの？ 取引所以外に数百箇所以上から、 いろんな方法で、 いろんなフォーマットで、データを取得。 例えば、 ・メール&PDF、メール&Excel ・クローリング&PDF、クローリング&Excel ・SFTP&テキストファイル、SFTP&PDF
9. 9 Copyright © 2019 QUICK Corp. All Rights Reserved. １．データはどこからくるの？ ◆従来◆ メール ・・・ ・・・ 企業HP FTPサイト 人手で値を入力・計算 テキストファイルに変換してシス テムに出力 QUICK サーバ群 サービスへ
10. 10 Copyright © 2019 QUICK Corp. All Rights Reserved. １．データはどこからくるの？ ◆AWSで(半)自動化◆ メール ・・・ ・・・ 企業HP FTPサイト ①前段のLambdaで取得と編集を実施 QUICK サーバ群 サービスへ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・
11. 11 Copyright © 2019 QUICK Corp. All Rights Reserved. １．データはどこからくるの？ ◆AWSで(半)自動化◆ メール ・・・ ・・・ 企業HP FTPサイト QUICK サーバ群 サービスへ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ②営業日判定/計算/編集/SFTP送信等　 用途毎にLambdaを用意。 　組み合わせて利用。
12. 12 Copyright © 2019 QUICK Corp. All Rights Reserved. ２．AWS(特にサーバレス)の良さって何？ ①サーバやネットワークの構築作業が不要 ②サーバリプレース作業不要、セットアップ作業不要 ③クラスタ・同期の設定に時間が掛からない ④高い可用性（8/23障害時も影響無し！） ⑤処理が独立しているから、サーバの時のように筐体全 体の性能を気にしなくていい ⑥夜中や休日にハード障害の緊急電話が来ない！！ （安心して寝れます。安心して遊びに出かけられます。）
13. 13 Copyright © 2019 QUICK Corp. All Rights Reserved. ２．AWS(特にサーバレス)の良さって何？ ①サーバやネットワークの構築作業が不要 ②サーバリプレース作業不要、セットアップ作業不要 ③クラスタ・同期の設定に時間が掛からない ④高い可用性（8/23障害時も影響無し！） ⑤処理が独立しているから、サーバの時のように筐体全 体の性能を気にしなくていい ⑥夜中や休日にハード障害の緊急電話が来ない！！ （安心して寝れます。安心して遊びに出かけられます。） サーバ単位ではないが、 アカウント単位で気にする必 要がある！！
14. 14 Copyright © 2019 QUICK Corp. All Rights Reserved. ３．慣れてきた頃の大失敗 検証の為開発環境で、 S3バケットに保存していた数万ファイルを置きなおして、 PUT契機でLambdaを動かした。 「時間は掛かるけど、そのうち終わるよね」 　　　　　　　　　　　　　　　　と呑気にしていたら、、、
15. 15 Copyright © 2019 QUICK Corp. All Rights Reserved. ３．慣れてきた頃の大失敗 上司：「Lambdaが動いていないんだけど」 私：「ん？　Lambdaめっちゃ動いてますよ？ （私が意図して動かしているLambdaに限る）」 上司：「それどれくらいの数動いているの？ 　　　同時に実行出来る上限に達していないよね？」 私：「えっ・・・んっ！？同時！？上限！？」
16. 16 Copyright © 2019 QUICK Corp. All Rights Reserved. ３．慣れてきた頃の大失敗 AWSには至るところに上限がある。 今回でいえば、2種類のLambdaで同時実行のLambdaを食いつぶして しまい、Lambdaの同時実行数の上限(デフォルト1000)に達していた。 その為定時起動の他のLambdaが動かなかった。 事象が発生した時はここには数個しか表 示されていない状態に・・・
17. 17 Copyright © 2019 QUICK Corp. All Rights Reserved. ３．慣れてきた頃の大失敗 ＜その時の対応＞ 対象のLambdaの同時実行数を制限。 しかし、対象のLambdaの同時実行に制限が掛かりLambdaの数に空き がでたものの、動かしたいLambdaはしばらく動かなかった。 なぜ・・・ コンソールから設定可能
18. 18 Copyright © 2019 QUICK Corp. All Rights Reserved. ３．慣れてきた頃の大失敗 実行待ちが続いた結果、読み取りの速度も低下していた。 ＜引用＞https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/invocation-async.html S3のPUT契機、CloudWatchからのイベント等はその場では制御でき ず、事象が収まったのは発生から6時間後だった。
19. 19 Copyright © 2019 QUICK Corp. All Rights Reserved. ３．慣れてきた頃の大失敗 ＜事前にしておくべきこと＞ ①Lambdaの同時実行数の上限をあげておく （上限緩和は申請から数日掛かる） ②SQS等を間に入れてキューをハンドリングできるようにする （S3PUT契機のキューは削除することができない） ③アカウント全体でLambdaのThrottles検知の仕組みを入れておく ④必ず動かす必要があるLambdaは、同時実行の予約をしておく ⑤大量に動く可能性があるLambdaにも同時実行の予約をしておく
20. 20 Copyright © 2019 QUICK Corp. All Rights Reserved. まとめ 1. 人手の作業をAWSのアーキテクチャーを利 用して自動化を実現 2. AWS（クラウド、サーバレス）を使うメリット はたくさんある 3. AWSの上限に注意！！
21. 21 Copyright © 2019 QUICK Corp. All Rights Reserved. ご清聴ありがとうございました！