AWS and Serverless and Monitoring
by
Yutaro Sugai
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
> "84ͱαʔόʔϨεͱࢹ Sansan株式会社 Eight事業部 インフラエンジニア 菅井祐太朗
Slide 2
Slide 2 text
Copyright © 2014 Sansan, Inc. All rights reserved. 1 > ⾃⼰紹介 l Sansan株式会社 Eight事業部 l インフラエンジニア l 活動(現在) l ⼀般社団法⼈LOCAL理事 l 活動(以前) l Chef実践⼊⾨ l Asakusa.rb l るびま(Rubyist向けWeb Magazine)編集 l 最近、Go⾔語の勉強をはじめました。 l 趣味は電⾞、⾶⾏機、⾳楽、料理、お酒、読書、ゲーム(最近 はPC)、インターネット
Slide 3
Slide 3 text
Copyright © 2014 Sansan, Inc. All rights reserved. 2 > ⾃⼰紹介 l ⼀般社団法⼈LOCAL理事 l ⽬的: 北海道の技術者コミュニティの活動を⽀援し、盛り上 げる l 活動 l オープンソースカンファレンス北海道の運営 l LOCALが⾏うイベントの企画運営 l イベント⽀援 l 学⽣交通費⽀援制度 l 会場確保やスタッフなどイベント運営の補佐
Slide 4
Slide 4 text
Copyright © 2014 Sansan, Inc. All rights reserved. 3 > アジェンダ l Sansanの説明 l SansanとAWS l EightとMackerel l Eightとサーバーレス l サーバーレスと監視 l サーバーレスと権限管理
Slide 5
Slide 5 text
Copyright © 2014 Sansan, Inc. All rights reserved. 4 > Sansanの紹介 ビジネスの出会いを資産に変え、 働き⽅を⾰新する
Slide 6
Slide 6 text
Copyright © 2014 Sansan, Inc. All rights reserved. 5 > 「新しい働き⽅」を体現する神⼭ラボ
Slide 7
Slide 7 text
Copyright © 2014 Sansan, Inc. All rights reserved. 6 > 法⼈向け名刺管理サービス「Sansan」 営業を強くする名刺管理
Slide 8
Slide 8 text
Copyright © 2014 Sansan, Inc. All rights reserved. 7 > Sansanの仕組み ① 名刺をスキャン ② OCR処理&オペレーター⼊⼒ OCRとオペレーターによる多重⼊⼒ ③データベース化 • テキストデータ • 画像データ ④アプリケーションで活⽤ 名刺の検索・閲覧・編集 ②データ送信 インターネット お客様 Database 名刺を “資産”として管理 名刺を 資産として管理 ⼊⼒サービス クラウド サービス
Slide 9
Slide 9 text
Copyright © 2014 Sansan, Inc. All rights reserved. 8 > 業種、規模問わず4,000社が導⼊
Slide 10
Slide 10 text
9
Slide 11
Slide 11 text
Copyright © Sansan, Inc. All rights reserved. Eightのしくみ 10 スマホで撮影 ⼈⼒で⼊⼒ スマホ & PCで活⽤
Slide 12
Slide 12 text
Copyright © Sansan, Inc. All rights reserved. 情報は常に最新 名刺の変更を⾃動でお知らせ Eightのしくみ 11 Eightでつながると、相⼿が転職や昇進などで 名刺を変更した場合に、通知が届きます。
Slide 13
Slide 13 text
Copyright © Sansan, Inc. All rights reserved. メッセージで気軽に連絡 新しいビジネスコミュニケーション Eightのしくみ 12 メールや電話よりも気軽に相⼿に連絡でき、 スムーズなコミュニケーションが可能です。
Slide 14
Slide 14 text
Copyright © Sansan, Inc. All rights reserved. Eightのしくみ 13 ビジネスプロフィール オンライン名刺として活⽤ プロフィールはWeb上に公開できます。 メールの署名などに⼊れて、 オンライン名刺としてもご利⽤できます。
Slide 15
Slide 15 text
Copyright © 2014 Sansan, Inc. All rights reserved. 14 > SansanとAWS 会社の各サービスにAWSを使⽤しています
Slide 16
Slide 16 text
Copyright © 2014 Sansan, Inc. All rights reserved. 15 > EightとMackerel l Eightでは、監視サービスにMackerelを使⽤しています l これまではNagiosを使っていましたが、1⽉中に完全移 ⾏をしました
Slide 17
Slide 17 text
Copyright © 2014 Sansan, Inc. All rights reserved. 16 > EightとMackerel l 監視対象 Amazon EC2 Elastic Load Balancing Amazon Lambda DynamoDB Amazon RDS ElastiCache Amazon Redshift Amazon CloudSearch Amazon SQS Amazon Kinesis
Slide 18
Slide 18 text
Copyright © 2014 Sansan, Inc. All rights reserved. 17 > EightとMackerel l 監視項⽬(EC2) l Connectivity l プロセス監視 l ロードアベレージ l swap l といった基本的なものたち l + Nagios 時代からのチェック監視 Amazon EC2
Slide 19
Slide 19 text
Copyright © 2014 Sansan, Inc. All rights reserved. 18 > Eightとサーバーレス ここまでは、これまで⼀般的だったサーバ監視 ここからは、サーバーレスに関する監視について
Slide 20
Slide 20 text
Copyright © 2014 Sansan, Inc. All rights reserved. 19 > サーバーレス化 Eightでのリコメンドアーキテクチャを バッチからサーバーレス化することで 刷新しリアルタイムに処理できるようにしました
Slide 21
Slide 21 text
Copyright © 2014 Sansan, Inc. All rights reserved. 20 > リコメンド
Slide 22
Slide 22 text
Copyright © 2014 Sansan, Inc. All rights reserved. 21 > サーバーレス化 旧:⽇次バッチ 新:リアルタイム・ストリーミング・アーキテクチャ データ加⼯ データ収集 レーティング データ キャッシュ リコメンド ⽣成 配信 ユーザ⾏動 24時間 リアルタイム データ加⼯ ⾏動ログ ユーザ⾏動 レーティング データ リコメンド ⽣成 キャッシュ 配信
Slide 23
Slide 23 text
Copyright © 2014 Sansan, Inc. All rights reserved. 22 > サーバーレス化 この後説明するLambdaとKinesisは このサーバレス化において中核を担うサービスです
Slide 24
Slide 24 text
Copyright © 2014 Sansan, Inc. All rights reserved. 23 > EightとMackerel l Lambdaとは l アプリケーション実⾏環境 l フルマネージド l サーバの管理が不要 l 他サービスと連携できる l API Gateway, S3, DynamoDB, Kinesis Stream等… l 使った分だけ課⾦される Amazon Lambda
Slide 25
Slide 25 text
Copyright © 2014 Sansan, Inc. All rights reserved. 24 > EightとMackerel l 監視項⽬(Lambda) l 実⾏時間 l エラー数 l 呼び出された回数 l 同時実⾏数制限を超えた数 Amazon Lambda
Slide 26
Slide 26 text
Copyright © 2014 Sansan, Inc. All rights reserved. 25 > EightとMackerel l Kinesis(Stream)とは l ストリームデータを扱う l フルマネージド l いわば、データを流すパイプ l しかもスケールするパイプ Amazon Kinesis
Slide 27
Slide 27 text
Copyright © 2014 Sansan, Inc. All rights reserved. 26 > EightとMackerel l 監視項⽬(Kinesis) l 流⼊してきたバイト数 l 流⼊してきたレコード数 l 読み取り操作で制限値を超えちゃった数 l 書き込み操作で制限値を超えちゃった数 l 読み取り中のレコードと最新のレコードとの時差(遅延) Amazon Kinesis
Slide 28
Slide 28 text
Copyright © 2014 Sansan, Inc. All rights reserved. 27 > サーバーレスなシステムの管理 l ピタゴラ装置の監視をどうやるか l 各サービスが連携して動作する l 全体像を⾒た上でどこがつまるとまずいのかアプリケーションエ ンジニアと認識を合わせる必要があった l 監視項⽬を出してもらって実際の設定を調整した l 権限管理がわりと⼤変 l どこにロールを挟み込めるのか確認 l どのようなアクションをしたいのかアプリケーションエンジニア からヒアリング
Slide 29
Slide 29 text
Copyright © 2014 Sansan, Inc. All rights reserved. 28 > サーバーレスと権限管理 l 権限 l 何のサービスが l 何のアクションを l どのリソースに対して⾏いたいのか設定する 28 新:リアルタイム・ストリーミング・アーキテクチャ データ加⼯ データ収集 レーティング データ キャッシュ リコメンド ⽣成 配信 ユーザ⾏動 リアルタイム
Slide 30
Slide 30 text
Copyright © 2014 Sansan, Inc. All rights reserved. 29 > サーバーレスと権限管理 l 権限(例) l Lambdaが l DynamoDBのDescribeStream, GetItemなどなどを l ○○テーブルたちに⾏いたい 29 新:リアルタイム・ストリーミング・アーキテクチャ データ加⼯ データ収集 レーティング データ キャッシュ リコメンド ⽣成 配信 ユーザ⾏動 リアルタイム
Slide 31
Slide 31 text
Copyright © 2014 Sansan, Inc. All rights reserved. 30 > サーバーレスと権限管理 l 権限管理 l つまりは、⼈やグループだけでなく l アプリケーション動作に必要なロールを管理するということ l Eightでは、Terraformを使って権限を管理している 30
Slide 32
Slide 32 text
Copyright © 2014 Sansan, Inc. All rights reserved. 31 > まとめや感想 l サーバーレスなものたちの管理⽅法はまだ決まってない 感じが強い l デプロイ系 l 監視など l ⼿探り感はあったが必要な監視やデプロイツールを考える過程 でのチーム内ディスカッションはいい経験だった l ほかチームでのアーキテクチャ選定時に、⾃分たちのチームで の知⾒を広めることができてよかった l ほかチームもサーバーレス化の検討をしていていい影響を与え られた l アプリケーションエンジニアにServerless Confで発表しても らおうと思っています 31
Slide 33
Slide 33 text
Copyright © 2014 Sansan, Inc. All rights reserved. 32 > おまけ もうすこしだけお付き合いください。
Slide 34
Slide 34 text
Copyright © 2014 Sansan, Inc. All rights reserved. 33 > Sansanでは ⼀緒に働いてくれる⼈を募集中です!
Slide 35
Slide 35 text
Copyright © 2014 Sansan, Inc. All rights reserved. 34 > 最後にエンジニアとデザイナーの話 .NET Ruby infra iOS Android R&D Data Analyst エンジニアの勢⼒図こんな感じです。 各開発部⾨及び他1部署にデザイナーはいます。
Slide 36
Slide 36 text
Copyright © 2014 Sansan, Inc. All rights reserved. 35 > エンジニア・デザイナー補助制度 書籍購⼊ 費⽤補助 環境整備補助 ソフトウェア購⼊補助 端末購⼊補助 ※iOS/Androidエンジニア限定 勉強会参加補助 有料カンファレンス 参加補助
Slide 37
Slide 37 text
No content