Amazon LambdaでTweetの自動収集

066a75994404d62f18ad41a169e1c022?s=47 shioiyan
October 05, 2018
Technology
0
180

Amazon LambdaでTweetの自動収集

Amazon LambdaとPythonのライブラリTweepyでTwitterのツイートを自動でS3に収集できるようにした話です。

066a75994404d62f18ad41a169e1c022?s=128

shioiyan

October 05, 2018
Tweet

More Decks by shioiyan

See All by shioiyan
066a75994404d62f18ad41a169e1c022?s=48 shioiyan
1
2.5k

Other Decks in Technology

See All in Technology
53850955f15249a1a9dc49df6113e400?s=48 line_developers
1
160
24606216ae4bbee28494552cb71cc220?s=48 yosshi_
12
2.7k
C5e26822fb2aa64410b50eac63ef7d84?s=48 fill9120
1
220
2102a6b8760bd6f57f672805723dd83a?s=48 line_developers_tw
0
2.1k
5bc984d78def65048378c439d77c379f?s=48 tomoyamachi
1
170
5d715b858124e0dd59af1a92e4397acd?s=48 y_temp4
0
110
C7f4bfa6a378cf43c3475716d1992efe?s=48 ishizuka427
0
210
Cd891a89dfec6ca7bd278b5f5bd87c90?s=48 tzkoba
1
360
Bc1e4b3a33fe6718f50285d1c1f53feb?s=48 koudaiii
1
300
8db231d3fe08b46242f6e0e45c95eee1?s=48 darkomesaros
0
120
84cf8e2803e8ee2f48a2db6493eb749f?s=48 takanariko
5
520
C21becdee5cd08b34c7452276e64c1fe?s=48 yamamuteki
6
1.1k

Featured

See All Featured
9128d500301ae51524e887bb680f471d?s=48 caitiem20
300
16k
F716e5f737fcfb03f2cf8d1a184f1dbe?s=48 nonsquared
78
3.1k
1f74b13f1e5c6c69cb5d7fbaabb1e2cb?s=48 sferik
606
53k
5f83ef806155b403c3393160ce51f955?s=48 jlugia
215
16k
F68cb25ae3e5c2106997454b13b7737d?s=48 brad_frost
154
6.1k
6bb82b13cda86d3b821fa44100335ddf?s=48 thoeni
2
290
812e1705ff0f8bc1bcf18587bde687d5?s=48 62gerente
581
190k
C0390e8b11079f8761c0cd3274ed61cb?s=48 productmarketing
3
420
4394ceb8b277f35ee3da7030384efb5d?s=48 davidbonilla
68
3.4k
95d9f37115fbb0d13135d0f77132f856?s=48 morganepeng
86
10k
Dad095ea7038f89f760419ce475d5d14?s=48 michaelherold
224
8.2k
56c4053438af8e8b90d6f53cbb7573be?s=48 jakevdp
766
190k

Transcript

  1. Amazon Lambdaで Tweetの自動収集 若手エンジニアLT #5 in 株式会社モバイルファクトリー 2018/10/05

  2. 自己紹介 @otyugen59 • モバイルファクトリー エンジニア2年目 • C#(Unity), Perl, Ruby(Rails), Python,

    JS(React Native) 2

  3. 突然ですが、 SNS警察してますか？ 3

  4. 4 SNS警察の必要性 ❏ 自社サービスを利用しているユーザの行動把握 ❏ 不具合があった時に異常にいち早く気がつく ❏ 新しい施策の評判を把握する

  5. 5 作ったもの ❏ Amazon Lambdaで特定のキーワードを含むTweetを取得 ❏ 結果をS3にCSV形式で保存

  6. 6 Lambdaで作るメリット ❏ サーバレスなのでサーバ構築、管理の必要がない ❏ CloudWatchのイベント機能で定期実行が簡単にできる ❏ S3(クラウドストレージ)との連携も楽

  7. 7 使用ライブラリ ❏ PythonのTweepy ❏ An easy-to-use Python library for

    accessing the Twitter API. ❏ http://www.tweepy.org/ ❏ 今回は検索APIしか使ってないが、投稿やリツイートなども できる

  8. 8 実装コード

  9. デモ！ 9

  10. 1 0 まとめと今後やりたいこと ❏ Lambdaを使ってS3に指定したワードを含むTweetをCSV ファイルでアップロードできた ❏ 取得したテキストをJanomeで形態素解析して頻出ワードを 取り出して傾向を見てみる？ ❏

    GCPのNatural Language APIで感情分析してみる？ ❏ その他良さそうな手法があれば教えてください！