Upgrade to Pro — share decks privately, control downloads, hide ads and more …

clickhouse-localを使ってS3に保存したログを解析する

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
Avatar for Takahiro INAGAKI Takahiro INAGAKI
May 03, 2025
16

 clickhouse-localを使ってS3に保存したログを解析する

Tech Talk Together #1で飛び入りLTさせてもらったclickhouse-localでS3に保存したログを解析する話

イベント: https://rossam-tech.com/tech-blog/tech-talk-together%e9%96%8b%e5%82%ac%e3%81%ae%e3%81%8a%e7%9f%a5%e3%82%89%e3%81%9b

Avatar for Takahiro INAGAKI

Takahiro INAGAKI

May 03, 2025
Tweet

Transcript

  1. ClickHouseとは? - データウェアハウス - ログ・メトリックなど - リアルタイム解析したり - 列指向データベース -

    行指向のRDBMSと比べて集計処理が速い - データが列ごとに管理されているので、ある列の合計を求める時に見るところが行指向より少ない →速い! - SQLで解析できる
  2. clickhouse-localとは? - ClickHouseはサーバー・embed・command lineの3つの使い方ができる - サーバーの場合はProduction Ready(冗長構成)で作ると最低でも5台はサーバーが必要 - Data Node

    2台 (clickhouse-server) - ZooKeeper 3台 (clickhouse-keeper) - embedはプログラムから呼び出して in memoryで単体で利用できる - command lineはCLIで単体で利用できる ←これがclickhouse-local - CSVファイルなどを読み込んで解析できる