Amazon LambdaでTweetの自動収集

Transcript

1. Amazon Lambdaで Tweetの自動収集 若手エンジニアLT #5 in 株式会社モバイルファクトリー 2018/10/05

2. 自己紹介 @otyugen59 • モバイルファクトリー エンジニア2年目 • C#(Unity), Perl, Ruby(Rails), Python,

   JS(React Native) 2

3. 突然ですが、 SNS警察してますか？ 3

4. 4 SNS警察の必要性 ❏ 自社サービスを利用しているユーザの行動把握 ❏ 不具合があった時に異常にいち早く気がつく ❏ 新しい施策の評判を把握する

5. 5 作ったもの ❏ Amazon Lambdaで特定のキーワードを含むTweetを取得 ❏ 結果をS3にCSV形式で保存

6. 6 Lambdaで作るメリット ❏ サーバレスなのでサーバ構築、管理の必要がない ❏ CloudWatchのイベント機能で定期実行が簡単にできる ❏ S3(クラウドストレージ)との連携も楽

7. 7 使用ライブラリ ❏ PythonのTweepy ❏ An easy-to-use Python library for

   accessing the Twitter API. ❏ http://www.tweepy.org/ ❏ 今回は検索APIしか使ってないが、投稿やリツイートなども できる

8. 8 実装コード

9. デモ！ 9

10. 1 0 まとめと今後やりたいこと ❏ Lambdaを使ってS3に指定したワードを含むTweetをCSV ファイルでアップロードできた ❏ 取得したテキストをJanomeで形態素解析して頻出ワードを 取り出して傾向を見てみる？ ❏

    GCPのNatural Language APIで感情分析してみる？ ❏ その他良さそうな手法があれば教えてください！