リアルタイムログ分析基盤のAWS-_GCP移行話

 リアルタイムログ分析基盤のAWS-_GCP移行話

6/26 【オンライン】ログ分析勉強会 vol.2 での登壇資料です
https://loganalytics.connpass.com/event/176044/
#logben

A84b3c763c9c543069b7c02551e2720e?s=128

yu-yamada

June 26, 2020
Tweet

Transcript

  1. 15.

    しばらくして出てきた課題 • 運用負荷の高騰 ◦ EC2のメンテナンス ◦ HDFSの容量逼迫 ◦ zookeeper(kafka)の不具合 →

    kafka,Hadoop(spark)を知っている人員ではないと対処出来ない • インフラコストが高い
  2. 16.

    しばらくして出てきた課題 • 運用負荷の高騰 ◦ EC2のメンテナンス ◦ HDFSの容量逼迫 ◦ zookeeper(kafka)の不具合 →

    kafka,Hadoop(spark)を知っている人員ではないと対処出来ない • インフラコストが高い 開発完了から3年(2016->2019)がたち 基盤の移行を決断
  3. 25.

    今後の課題 • dataflowのSDKアップデート対応 ◦ 1年ほどでEOSLを迎える SDK versions Status Details 2.22.0

    Supported This version will be deprecated on June 8, 2021. 2.21.0 Supported This version will be deprecated on May 27, 2021. 2.20.0 Supported This version will be deprecated on April 15, 2021. 2.19.0 Supported This version will be deprecated on February 4, 2021. 〜 〜 〜 2.13.0 Deprecated Deprecated on June 6, 2020.