clickhouse-localを使ってS3に保存したログを解析する

Tech Talk Together #1で飛び入りLTさせてもらったclickhouse-localでS3に保存したログを解析する話

イベント: https://rossam-tech.com/tech-blog/tech-talk-together%e9%96%8b%e5%82%ac%e3%81%ae%e3%81%8a%e7%9f%a5%e3%82%89%e3%81%9b

Transcript

1. clickhouse-localを使ってS3に 保存したログを解析する
2. 自己紹介 - hum_op - X: @hum_op_dev - Blog: super-g.eek.jp - GitHub: ophum
3. ClickHouseとは？ - データウェアハウス - ログ・メトリックなど - リアルタイム解析したり - 列指向データベース - 行指向のRDBMSと比べて集計処理が速い - データが列ごとに管理されているので、ある列の合計を求める時に見るところが行指向より少ない →速い！ - SQLで解析できる
4. clickhouse-localとは? - ClickHouseはサーバー・embed・command lineの3つの使い方ができる - サーバーの場合はProduction Ready(冗長構成)で作ると最低でも5台はサーバーが必要 - Data Node 2台 (clickhouse-server) - ZooKeeper 3台 (clickhouse-keeper) - embedはプログラムから呼び出して in memoryで単体で利用できる - command lineはCLIで単体で利用できる ←これがclickhouse-local - CSVファイルなどを読み込んで解析できる
5. ログをS3に保存している - ログは変わらないし常に見るものじゃないので大抵は S3などの安いストレージに置いておくことが多いと 思う - ClickHouseはS3 Table EngineというのがありS3上のファイルに対して解析することができます
6. やってみた https://super-g.eek.jp/posts/2025/04/27/clickhouse-local-s3-table-function-sakura-objectstorage/
7. まとめ - clickhouse-localを利用することでローカルでログファイルなどを解析できます - S3に保存しているデータを対象に解析することもできます - 複数のファイルに分けていても良しなに clickhouse-localがダウンロードして解析してくれます - 全部で30GBのログに対して60秒と高速(?)に解析できました