Slide 20
Slide 20 text
Minervaの役割 (1/2)
1. ログの投入
• 一次集約されたログをダウンロードし、Indexテーブル、messageテーブル用に
parquetファイルを生成
• ElasticsearchにおけるStandard Tokenizerのような実装を自作して単語を分割
2. パーティションの作成
• パーティション例: s3://***-bucket/some-prefix/indices/dt=2019-11-01-05/
some-bucket/some-key.parquet
• 新しいパーティションにログが保存されたらAthenaにALTER TABLE命令を発行