Amazon LambdaでTweetの自動収集

Amazon LambdaとPythonのライブラリTweepyでTwitterのツイートを自動でS3に収集できるようにした話です。

Transcript

1. Amazon Lambdaで Tweetの自動収集 若手エンジニアLT #5 in 株式会社モバイルファクトリー 2018/10/05
2. 自己紹介 @otyugen59 • モバイルファクトリー エンジニア2年目 • C#(Unity), Perl, Ruby(Rails), Python, JS(React Native) 2
3. 突然ですが、 SNS警察してますか？ 3
4. 4 SNS警察の必要性 ❏ 自社サービスを利用しているユーザの行動把握 ❏ 不具合があった時に異常にいち早く気がつく ❏ 新しい施策の評判を把握する
5. 5 作ったもの ❏ Amazon Lambdaで特定のキーワードを含むTweetを取得 ❏ 結果をS3にCSV形式で保存
6. 6 Lambdaで作るメリット ❏ サーバレスなのでサーバ構築、管理の必要がない ❏ CloudWatchのイベント機能で定期実行が簡単にできる ❏ S3(クラウドストレージ)との連携も楽
7. 7 使用ライブラリ ❏ PythonのTweepy ❏ An easy-to-use Python library for accessing the Twitter API. ❏ http://www.tweepy.org/ ❏ 今回は検索APIしか使ってないが、投稿やリツイートなども できる
8. 8 実装コード
9. デモ！ 9
10. 1 0 まとめと今後やりたいこと ❏ Lambdaを使ってS3に指定したワードを含むTweetをCSV ファイルでアップロードできた ❏ 取得したテキストをJanomeで形態素解析して頻出ワードを 取り出して傾向を見てみる？ ❏ GCPのNatural Language APIで感情分析してみる？ ❏ その他良さそうな手法があれば教えてください！