Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon LambdaでTweetの自動収集

shioiyan
October 05, 2018

Amazon LambdaでTweetの自動収集

Amazon LambdaとPythonのライブラリTweepyでTwitterのツイートを自動でS3に収集できるようにした話です。

shioiyan

October 05, 2018
Tweet

More Decks by shioiyan

Other Decks in Technology

Transcript

  1. Amazon Lambdaで
    Tweetの自動収集
    若手エンジニアLT #5
    in 株式会社モバイルファクトリー
    2018/10/05

    View Slide

  2. 自己紹介
    @otyugen59
    ● モバイルファクトリー エンジニア2年目
    ● C#(Unity), Perl, Ruby(Rails), Python, JS(React Native)
    2

    View Slide

  3. 突然ですが、
    SNS警察してますか?
    3

    View Slide

  4. 4
    SNS警察の必要性
    ❏ 自社サービスを利用しているユーザの行動把握
    ❏ 不具合があった時に異常にいち早く気がつく
    ❏ 新しい施策の評判を把握する

    View Slide

  5. 5
    作ったもの
    ❏ Amazon Lambdaで特定のキーワードを含むTweetを取得
    ❏ 結果をS3にCSV形式で保存

    View Slide

  6. 6
    Lambdaで作るメリット
    ❏ サーバレスなのでサーバ構築、管理の必要がない
    ❏ CloudWatchのイベント機能で定期実行が簡単にできる
    ❏ S3(クラウドストレージ)との連携も楽

    View Slide

  7. 7
    使用ライブラリ
    ❏ PythonのTweepy
    ❏ An easy-to-use Python library for accessing the Twitter
    API.
    ❏ http://www.tweepy.org/
    ❏ 今回は検索APIしか使ってないが、投稿やリツイートなども
    できる

    View Slide

  8. 8
    実装コード

    View Slide

  9. デモ!
    9

    View Slide

  10. 1
    0
    まとめと今後やりたいこと
    ❏ Lambdaを使ってS3に指定したワードを含むTweetをCSV
    ファイルでアップロードできた
    ❏ 取得したテキストをJanomeで形態素解析して頻出ワードを
    取り出して傾向を見てみる?
    ❏ GCPのNatural Language APIで感情分析してみる?
    ❏ その他良さそうな手法があれば教えてください!

    View Slide