AWS and Serverless and Monitoring

> "84ͱαʔόʔϨεͱ؂ࢹ Sansan株式会社 Eight事業部インフラエンジニア菅井祐太朗

Copyright © 2014 Sansan, Inc. All rights reserved. 1 >
⾃⼰紹介 l Sansan株式会社 Eight事業部 l インフラエンジニア l 活動(現在) l ⼀般社団法⼈LOCAL理事 l 活動(以前) l Chef実践⼊⾨ l Asakusa.rb l るびま(Rubyist向けWeb Magazine)編集 l 最近、Go⾔語の勉強をはじめました。 l 趣味は電⾞、⾶⾏機、⾳楽、料理、お酒、読書、ゲーム（最近はPC）、インターネット

⾃⼰紹介 l ⼀般社団法⼈LOCAL理事 l ⽬的: 北海道の技術者コミュニティの活動を⽀援し、盛り上げる l 活動 l オープンソースカンファレンス北海道の運営 l LOCALが⾏うイベントの企画運営 l イベント⽀援 l 学⽣交通費⽀援制度 l 会場確保やスタッフなどイベント運営の補佐

アジェンダ l Sansanの説明 l SansanとAWS l EightとMackerel l Eightとサーバーレス l サーバーレスと監視 l サーバーレスと権限管理

Sansanの紹介ビジネスの出会いを資産に変え、働き⽅を⾰新する

「新しい働き⽅」を体現する神⼭ラボ

法⼈向け名刺管理サービス「Sansan」営業を強くする名刺管理

Sansanの仕組み ① 名刺をスキャン ② OCR処理＆オペレーター⼊⼒ OCRとオペレーターによる多重⼊⼒ ③データベース化 • テキストデータ • 画像データ ④アプリケーションで活⽤名刺の検索・閲覧・編集 ②データ送信インターネットお客様 Database 名刺を “資産”として管理名刺を資産として管理⼊⼒サービスクラウドサービス

業種、規模問わず4,000社が導⼊

Copyright © Sansan, Inc. All rights reserved. Eightのしくみ 10 スマホで撮影
⼈⼒で⼊⼒スマホ & PCで活⽤

Copyright © Sansan, Inc. All rights reserved. 情報は常に最新名刺の変更を⾃動でお知らせ Eightのしくみ
11 Eightでつながると、相⼿が転職や昇進などで名刺を変更した場合に、通知が届きます。

Copyright © Sansan, Inc. All rights reserved. メッセージで気軽に連絡新しいビジネスコミュニケーション Eightのしくみ
12 メールや電話よりも気軽に相⼿に連絡でき、スムーズなコミュニケーションが可能です。

Copyright © Sansan, Inc. All rights reserved. Eightのしくみ 13 ビジネスプロフィール
オンライン名刺として活⽤プロフィールはWeb上に公開できます。メールの署名などに⼊れて、オンライン名刺としてもご利⽤できます。

SansanとAWS 会社の各サービスにAWSを使⽤しています

EightとMackerel l Eightでは、監視サービスにMackerelを使⽤しています l これまではNagiosを使っていましたが、1⽉中に完全移⾏をしました

EightとMackerel l 監視対象 Amazon EC2 Elastic Load Balancing Amazon Lambda DynamoDB Amazon RDS ElastiCache Amazon Redshift Amazon CloudSearch Amazon SQS Amazon Kinesis

EightとMackerel l 監視項⽬(EC2) l Connectivity l プロセス監視 l ロードアベレージ l swap l といった基本的なものたち l + Nagios 時代からのチェック監視 Amazon EC2

Eightとサーバーレスここまでは、これまで⼀般的だったサーバ監視ここからは、サーバーレスに関する監視について

サーバーレス化 Eightでのリコメンドアーキテクチャをバッチからサーバーレス化することで刷新しリアルタイムに処理できるようにしました

リコメンド

サーバーレス化旧：⽇次バッチ新：リアルタイム・ストリーミング・アーキテクチャデータ加⼯データ収集レーティングデータキャッシュリコメンド⽣成配信ユーザ⾏動 24時間リアルタイムデータ加⼯⾏動ログユーザ⾏動レーティングデータリコメンド⽣成キャッシュ配信

サーバーレス化この後説明するLambdaとKinesisはこのサーバレス化において中核を担うサービスです

EightとMackerel l Lambdaとは l アプリケーション実⾏環境 l フルマネージド l サーバの管理が不要 l 他サービスと連携できる l API Gateway, S3, DynamoDB, Kinesis Stream等… l 使った分だけ課⾦される Amazon Lambda

EightとMackerel l 監視項⽬(Lambda) l 実⾏時間 l エラー数 l 呼び出された回数 l 同時実⾏数制限を超えた数 Amazon Lambda

EightとMackerel l Kinesis(Stream)とは l ストリームデータを扱う l フルマネージド l いわば、データを流すパイプ l しかもスケールするパイプ Amazon Kinesis

EightとMackerel l 監視項⽬(Kinesis) l 流⼊してきたバイト数 l 流⼊してきたレコード数 l 読み取り操作で制限値を超えちゃった数 l 書き込み操作で制限値を超えちゃった数 l 読み取り中のレコードと最新のレコードとの時差（遅延） Amazon Kinesis

サーバーレスなシステムの管理 l ピタゴラ装置の監視をどうやるか l 各サービスが連携して動作する l 全体像を⾒た上でどこがつまるとまずいのかアプリケーションエンジニアと認識を合わせる必要があった l 監視項⽬を出してもらって実際の設定を調整した l 権限管理がわりと⼤変 l どこにロールを挟み込めるのか確認 l どのようなアクションをしたいのかアプリケーションエンジニアからヒアリング

サーバーレスと権限管理 l 権限 l 何のサービスが l 何のアクションを l どのリソースに対して⾏いたいのか設定する 28 新：リアルタイム・ストリーミング・アーキテクチャデータ加⼯データ収集レーティングデータキャッシュリコメンド⽣成配信ユーザ⾏動リアルタイム

サーバーレスと権限管理 l 権限(例) l Lambdaが l DynamoDBのDescribeStream, GetItemなどなどを l ◦◦テーブルたちに⾏いたい 29 新：リアルタイム・ストリーミング・アーキテクチャデータ加⼯データ収集レーティングデータキャッシュリコメンド⽣成配信ユーザ⾏動リアルタイム

サーバーレスと権限管理 l 権限管理 l つまりは、⼈やグループだけでなく l アプリケーション動作に必要なロールを管理するということ l Eightでは、Terraformを使って権限を管理している 30

まとめや感想 l サーバーレスなものたちの管理⽅法はまだ決まってない感じが強い l デプロイ系 l 監視など l ⼿探り感はあったが必要な監視やデプロイツールを考える過程でのチーム内ディスカッションはいい経験だった l ほかチームでのアーキテクチャ選定時に、⾃分たちのチームでの知⾒を広めることができてよかった l ほかチームもサーバーレス化の検討をしていていい影響を与えられた l アプリケーションエンジニアにServerless Confで発表してもらおうと思っています 31

おまけもうすこしだけお付き合いください。

Sansanでは⼀緒に働いてくれる⼈を募集中です！

最後にエンジニアとデザイナーの話 .NET Ruby infra iOS Android R&D Data Analyst エンジニアの勢⼒図こんな感じです。各開発部⾨及び他1部署にデザイナーはいます。

エンジニア・デザイナー補助制度書籍購⼊費⽤補助環境整備補助ソフトウェア購⼊補助端末購⼊補助 ※iOS/Androidエンジニア限定勉強会参加補助有料カンファレンス参加補助

AWS and Serverless and Monitoring

AWS and Serverless and Monitoring

More Decks by Yutaro Sugai

Other Decks in Programming

Featured

Transcript