Amazon LambdaでTweetの自動収集

066a75994404d62f18ad41a169e1c022?s=47 shioiyan
October 05, 2018

Amazon LambdaでTweetの自動収集

Amazon LambdaとPythonのライブラリTweepyでTwitterのツイートを自動でS3に収集できるようにした話です。

066a75994404d62f18ad41a169e1c022?s=128

shioiyan

October 05, 2018
Tweet

Transcript

  1. Amazon Lambdaで Tweetの自動収集 若手エンジニアLT #5 in 株式会社モバイルファクトリー 2018/10/05

  2. 自己紹介 @otyugen59 • モバイルファクトリー エンジニア2年目 • C#(Unity), Perl, Ruby(Rails), Python,

    JS(React Native) 2
  3. 突然ですが、 SNS警察してますか? 3

  4. 4 SNS警察の必要性 ❏ 自社サービスを利用しているユーザの行動把握 ❏ 不具合があった時に異常にいち早く気がつく ❏ 新しい施策の評判を把握する

  5. 5 作ったもの ❏ Amazon Lambdaで特定のキーワードを含むTweetを取得 ❏ 結果をS3にCSV形式で保存

  6. 6 Lambdaで作るメリット ❏ サーバレスなのでサーバ構築、管理の必要がない ❏ CloudWatchのイベント機能で定期実行が簡単にできる ❏ S3(クラウドストレージ)との連携も楽

  7. 7 使用ライブラリ ❏ PythonのTweepy ❏ An easy-to-use Python library for

    accessing the Twitter API. ❏ http://www.tweepy.org/ ❏ 今回は検索APIしか使ってないが、投稿やリツイートなども できる
  8. 8 実装コード

  9. デモ! 9

  10. 1 0 まとめと今後やりたいこと ❏ Lambdaを使ってS3に指定したワードを含むTweetをCSV ファイルでアップロードできた ❏ 取得したテキストをJanomeで形態素解析して頻出ワードを 取り出して傾向を見てみる? ❏

    GCPのNatural Language APIで感情分析してみる? ❏ その他良さそうな手法があれば教えてください!