Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon LambdaでTweetの自動収集
Search
shioiyan
October 05, 2018
Technology
0
260
Amazon LambdaでTweetの自動収集
Amazon LambdaとPythonのライブラリTweepyでTwitterのツイートを自動でS3に収集できるようにした話です。
shioiyan
October 05, 2018
Tweet
Share
More Decks by shioiyan
See All by shioiyan
PUN2触ってみた
shioiyan
1
3.3k
Other Decks in Technology
See All in Technology
ギークの理想が7つ集まるエムスリーで夢を叶えよう - エムスリー株式会社
m3_engineering
1
260
GoとアクターモデルでES+CQRSを実践! / proto_actor_es_cqrs
ytake
1
150
ACRiルーム最新情報とAMD GPUサーバーのご紹介
anjn
0
150
サーバーレスAPI(API Gateway+Lambda)とNext.jsで 個人ブログを作ろう!
shuntaka
PRO
0
560
Azure OpenAI Service Dev Day / LLMでできる!使える!生成AIエージェント
masahiro_nishimi
3
740
累計ダウンロード数1億8000万を超えるアプリケーションプラットフォームのレガシーシステム脱却とモダン化への道
kmitsuhashi
0
120
AIアシスタントの活用で品質の向上と開発ワークフローのスピードアップ
nagix
1
190
AI研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
130
Github Actions 로 Android 팀의 효율성 극대화
hadonghyun
0
160
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
270
コンテナ・K8s研修 - 前半 コンテナ基礎・ハンズオン【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
E2Eテスト自動化プラットフォームにおけるAIの活用
shift_evolve
0
180
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
229
130k
Ruby is Unlike a Banana
tanoku
96
10k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
18
1.2k
Music & Morning Musume
bryan
43
5.9k
[RailsConf 2023] Rails as a piece of cake
palkan
35
4.4k
For a Future-Friendly Web
brad_frost
173
9.2k
How to Ace a Technical Interview
jacobian
274
23k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
20
7.2k
Scaling GitHub
holman
458
140k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
Thoughts on Productivity
jonyablonski
64
4.1k
Transcript
Amazon Lambdaで Tweetの自動収集 若手エンジニアLT #5 in 株式会社モバイルファクトリー 2018/10/05
自己紹介 @otyugen59 • モバイルファクトリー エンジニア2年目 • C#(Unity), Perl, Ruby(Rails), Python,
JS(React Native) 2
突然ですが、 SNS警察してますか? 3
4 SNS警察の必要性 ❏ 自社サービスを利用しているユーザの行動把握 ❏ 不具合があった時に異常にいち早く気がつく ❏ 新しい施策の評判を把握する
5 作ったもの ❏ Amazon Lambdaで特定のキーワードを含むTweetを取得 ❏ 結果をS3にCSV形式で保存
6 Lambdaで作るメリット ❏ サーバレスなのでサーバ構築、管理の必要がない ❏ CloudWatchのイベント機能で定期実行が簡単にできる ❏ S3(クラウドストレージ)との連携も楽
7 使用ライブラリ ❏ PythonのTweepy ❏ An easy-to-use Python library for
accessing the Twitter API. ❏ http://www.tweepy.org/ ❏ 今回は検索APIしか使ってないが、投稿やリツイートなども できる
8 実装コード
デモ! 9
1 0 まとめと今後やりたいこと ❏ Lambdaを使ってS3に指定したワードを含むTweetをCSV ファイルでアップロードできた ❏ 取得したテキストをJanomeで形態素解析して頻出ワードを 取り出して傾向を見てみる? ❏
GCPのNatural Language APIで感情分析してみる? ❏ その他良さそうな手法があれば教えてください!