KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]

KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]

本セッションでは、弊社にて複数サービスで導入しているAWSのマネージドサービス (Lambda、CloudWatch Logs、Kinesis Data Streams、S3、Elasticsearch Service) を活用したServerlessなログ基盤の構成について紹介する。自前でログ基盤を管理しているが管理コストなど課題を感じている人や、コンテナ活用時のロギング構成の設計に悩んでいる人をターゲットにしている。 / / 現在のログ基盤の構成に至るまでの経緯(過去に試行錯誤した10以上の構成パターン)、設計思想(保守性、高信頼性、コスト削減、拡張性)について紹介する。 / / タップル誕生やCROSSMEをはじめとした実際に運用中のサービスを事例に、サービス用件ごとに合わせたロギング構成を解説する。また、2年半の期間で様々な構成を運用をしてきた事によって得られた知見について話す。ログ転送パターンの比較では、Kinesis SDK、fluentd plugin、CloudWatch Logs Subscription Filterを活用したログ転送や、end-to-end転送遅延に対する厳しい要件を持つサービスにおいて、fluentd集約からKinesis集約に切り替えた事によるメリットについて解説する。Kinesis Data Streamsをロギングやストリーミングアプリケーションで使った際の注意すべき事項やおすすめする使い方も合わせて紹介する。 / / ログ基盤で弊社で開発、活用されているロギング用 AWS LambdaモジュールのOSSプロジェクト (github.com/baikonur-oss) を紹介する。

Speaker Profile:

株式会社サイバーエージェント
Torgayev Tamirlan 氏

株式会社サイバーエージェント 技術本部 サービスリライアビリティグループ所属 クラウド技術アドバイザ / 2017年~内定者アルバイトを経て、2018年に新卒入社 / Kinesis、ECS、Lambda、Elasticsearch、Terraformを専門領域とし、複数の新規サービス立ち上げや、AWA・タップル誕生などのシステム改善に従事している

563d2e1e4cabf5ca21404f7104c90e91?s=128

Tamirlan Torgayev

October 03, 2019
Tweet