ELK StackでTwitterの情報を可視化する!!

Elasticsearch + Logstash + Kibanaを使用してTwitter APIから情報を取得して可視化したのでまとめ

Transcript

1. ELK Stack でTwitter の 情報を可視化する！！ 2020/06/29 Taniguchi Ryo
2. ELK Stack って何? E Elasticsearch L Logstash K Kibana => 3 つのオープンソースソフトウェアの頭⽂字を合わせた総称 => これに「Beats 」というソフトウェアが追加されたものはElastic Stack という
3. Elasticsearch とは？ Elastic 社が開発している全⽂検 索エンジン REST API でアクセス可能 ドキュメント指向データベース
4. Elasticsearch での全⽂検索とは？ Linux コマンドのgrep のような検索は逐次検索 Elasticsearch は索引型検索( インデックスを⽤いた検索) アナライザという機能で⽂章を単語に分割して実現している
6. RDB と⽤語を⽐較 { "id": "1", "title": "title や!", "author": "ryo taniguchi", "page": "15" }
7. ドキュメント作成、取得
8. アナライザの実際の動きを確認 ⽇本語⽤のプラグイン「Kuromoji Analysis Plugin 」使⽤
10. Logstash とは？ いろんなデータソースからログ やデータを、収集、加⼯、転送 する為のツール 処理のパイプラインを定義した ファイルで設定
11. Logstash フロー
12. Kibana とは？ Elasticserach に⼊っているデータ をいろんな形で分析、可視化で きる。 Elasticsearch とリアルタイムで同 期可能
13. Twitter の情報を取得し可視化する
14. Twitter の情報をElasitcsearch に保存 Logstash の設定ファイル input { twitter { consumer_key => "xxxxxxxxxxxxxxxxxxxx" consumer_secret => "xxxxxxxxxxxxxxxxx" oauth_token => "xxxxxxxxxxxxxxxxxxxxxxxxxxxx" oauth_token_secret => "xxxxxxxxxxxxxxxxxxxxx" full_tweet => true keywords => ["aws"] } } output { elasticsearch { hosts => ["http://localhost:9200/"] index => "aws" } }
15. リアルタイムでKibana に転送される
16. Kibana でデータを可視化
17. 以上です。 ご清聴ありがとうございました。 © Copyright CI Corporation All rights reserved.