ZOZO前澤社長お年玉リツイート企画のビッグデータに立ち向かう方法

© 2018 CData Software Japan, LLC | www.cdata.com/jp ZOZO 前澤社長お年玉リツイート企画のビッグデータに立ち向かう方法
-Twitterのビッグデータを分析するために、実際にやってみてわかった嵌りポイントとその対策- 2019/01 CData Software Japan Kazuya Sugimoto -Lead Engineer

See the World as a Database Speaker 杉本和也：Kazuya Sugimoto
• CData Software Japan, LLC Lead Engineer • Microsoft MVP for Business Solution(Dynamics CRM/365) Blog：Morning Girl http://kageura.hatenadiary.jp/ Twitter：@sugimomoto Facebook：sugimomoto

© 2018 CData Software Japan, LLC | www.cdata.com/jp About CData
Software Bi-directional Access to Live App, Database, & Web API Data Through Standard Drivers ・CData Software, Inc. / Started: 1994 (/nsoftware) ・Location: Chapel Hill, NC a spin-off of /n software ・CData Japan: 2016/6 (JV with Infoteria) ・20年以上にわたりデータ関連コンポーネントを提供・100+ 対応データソース・「API を使いやすく」をミッションにクラウドデータ接続を標準化

© 2018 CData Software Japan, LLC | www.cdata.com/jp ［前澤 API］で
Twitter 検索すると出てくる Twitter API ・抽選方法への懐疑的な声

© 2018 CData Software Japan, LLC | www.cdata.com/jp API で取得できない、件数さばけない！
という声が多数！ほんと・・・？

© 2018 CData Software Japan, LLC | www.cdata.com/jp 業界最多級のデータソース Drivers
for NoSQL, Big Data, & SaaS Connectivity CRMおよびマーケティング自動化会計システムコラボレーションおよびERP オンプレミスおよびクラウドDB ドキュメントおよびファイル形式ソーシャルネットワーキングネットワーキングおよび認証電子商取引その他

© 2018 CData Software Japan, LLC | www.cdata.com/jp Power BI
のデータソース拡張コネクターなどを作ってます Drivers for NoSQL, Big Data, & SaaS Connectivity

© 2018 CData Software Japan, LLC | www.cdata.com/jp CData Software
Japan に勤めていて、日々APIと戯れる API 中毒な人間として、黙ってられない！

© 2018 CData Software Japan, LLC | www.cdata.com/jp 今日お話したいこと・伝えたいことどうやって500万件におよぶ大量の
Twitter データを取得したらいいのか？どうやれば、BIツールなどで分析できる状態に持っていけるのか？みなさんが「１億円使って獲得した大量のリツイートを分析したい！」と思ったときのために実際に大量ツイートを取得した経験から分析するまでのアプローチ・対応方法・API の仕様や制約をまとめてみました！

© 2018 CData Software Japan, LLC | www.cdata.com/jp 分析するまでの過程で遭遇した４つの課題 Twitter
API リミット対策どうやって500万件のツイートを取得するの？どうやって対象のツイートを特定するの？ Twitter Search API の仕様と制限どうやって取得したデータを構造化するの？ Twitter データの構造と解析どうやって DB にデータを流し込むの？ Twitter データの DB移行方法

© 2018 CData Software Japan, LLC | www.cdata.com/jp 1.どうやって500万件のリツイートを取得するの？ -Twitter
API リミット対策-

© 2018 CData Software Japan, LLC | www.cdata.com/jp 仮に ZOZO前澤社長が本気で
API を使って抽選しようとした場合どうなるか？イベント期間「1月5日 22：35 ～ 1月7日 24：00」当選者発表「1月8日 9：00」もし、適切に当選者を全部取得して抽選するのであれば、「約50時間（24時間 ☓ 2 ＋ 9時間）」で500万リツイート取得する必要があった

© 2018 CData Software Japan, LLC | www.cdata.com/jp 通常通り Twitter
API を使って取得した場合どうなるの？

© 2018 CData Software Japan, LLC | www.cdata.com/jp そこで、2017年に発表された有償の
Search API 「Premium / Enterprise Search API」を使う！

© 2018 CData Software Japan, LLC | www.cdata.com/jp 「Premium /
Enterprise Search API」を使った場合、どうなるの？ Standard Search API Premium Search API Enterprise Search API 取得対象期間過去 7 日間過去 30 日間過去 30 日間 1リクエストで取得できる件数 100 ツイート count=100 500 ツイート maxResults=500 500 ツイート maxResults=500 リクエスト制限 15分 / 180 リクエスト 1分 / 60 リクエスト 1秒 / 20リクエスト 1時間あたりで取得できるツイート数 72,000 ツイート 180 * 4 * 100 1,800,000 ツイート 60 * 60 * 500 36,000,000 ツイート 20 * 60 * 60 * 500 1000万ツイート取得にかかる時間（500万ツイートの場合） 138 時間（69時間） 5.5 時間（2.75時間） 22 分（11分） 1000万ツイート取得にかかる費用無償 5,000 ドル Twitter 社次第

© 2018 CData Software Japan, LLC | www.cdata.com/jp ちなみに Premium
API の利用料金（Enterprise API は Twitter 社へ要相談）

© 2018 CData Software Japan, LLC | www.cdata.com/jp 2.どうやって対象のツイートを識別するの？ -Twitter
Search API の仕様と制限-

© 2018 CData Software Japan, LLC | www.cdata.com/jp そもそも何を取得したかったのか？主なターゲットは
このリツイート

© 2018 CData Software Japan, LLC | www.cdata.com/jp でも、それ以外にも私はこの企画全体の影響を可視化したかった・・・！
例えば・・・

© 2018 CData Software Japan, LLC | www.cdata.com/jp 取得したいツイートの種類通常リツイート
引用リツイートリプライ（返信）通常ツイート

© 2018 CData Software Japan, LLC | www.cdata.com/jp Search API
の「Query」を使うわけですが -Query Available operators-

© 2018 CData Software Japan, LLC | www.cdata.com/jp （仮定）大本のツイートに「#月へ行くならお年玉」
これを使えば、全部いけるんじゃない？

© 2018 CData Software Japan, LLC | www.cdata.com/jp やってみた検索キーワードが
ツイート内にある検索キーワードが引用・リツイート先にあるノーマルツイート取得可能 - リプライ取得可能取得できない！ノーマルリツイート - 取得可能引用リツイート取得可能取得できない！

© 2018 CData Software Japan, LLC | www.cdata.com/jp 結論「#月に行くならお年玉」の
ハッシュタグが含まれていない引用リツイートも、ハッシュタグツイートも取得するならどうするか？

© 2018 CData Software Japan, LLC | www.cdata.com/jp 1.retweets_of:で前澤社長のリツイート・引用リツイートをすべて取得
2. 「#月に行くならお年玉」検索でさらに取得 3.そして、重複データを削除！

© 2018 CData Software Japan, LLC | www.cdata.com/jp なので、今回は泣く泣く「#月に行くならお年玉」で取得できるものをシンプルに集めました。
その数「430万ツイート」それでも、27万円ほどかかりました（うち、2万7千円が私の財布、3万9千円がPayPalで募ったところご支援いただけました！） PS.もし、これならできるんじゃね？って人が居たら教えてください

© 2018 CData Software Japan, LLC | www.cdata.com/jp 3.どうやって取得したデータを構造化するの？ -Twitter
データの構造と解析-

© 2018 CData Software Japan, LLC | www.cdata.com/jp { Name
: “kazuya”, Age : 30, Location : [-73.856077, 40.848447] } 変換!? スキーマレスネスト・配列ミックスな階層構造型はどうする？配列はどうマッピングする？ネスト構造は分ける？分けない？ RDBライクになれば、 BIツールに繋げやすいどうやってRDBライクにスキーマを定義し扱うのか？

© 2018 CData Software Japan, LLC | www.cdata.com/jp もちろん、Power BI
は JSON 読み込めますでも、何も挟まずに32GBものJSONを読むのは厳しい

© 2018 CData Software Japan, LLC | www.cdata.com/jp しかも・・・ Twitter
オブジェクトは結構フォーマットが多い

© 2018 CData Software Japan, LLC | www.cdata.com/jp Basic Tweet
Format

© 2018 CData Software Japan, LLC | www.cdata.com/jp Extended Tweets
Format

© 2018 CData Software Japan, LLC | www.cdata.com/jp JSON ファイルの構造を自動解析して
勝手にリレーショナル化してくれる { "documents": [ { "title": "SampleTitle1", "updated_at": "2018-09-10T05:22:26Z", “files": [ { "name": “SampleFile1-1", "language_code": “en" }, { "name": " SampleFile1-2", "language_code": "ja" } ] }, { "title": "SampleTitle2", "updated_at": "2018-09-05T05:22:26Z", “files": [ { "name": “SampleFile2-1, "language_code": "ja" }, { "name": “SampleFile2-2", "language_code": “en" } ] } ] } * title update_at 1 SampleTitle1 2018-09-10T05:22:26Z 2 SampleTitle2 2018-09-05T05:22:26Z * documents_id name language_code 1 1 SampleFile1-1 en 2 1 SampleFile1-2 ja 3 2 SampleFile2-1 ja 4 2 SampleFile2-2 en Files テーブル Documents テーブル参考：http://bit.ly/CDataJson

© 2018 CData Software Japan, LLC | www.cdata.com/jp とはいえ •
テラバイト・ペタバイト級のデータでも無い • ワンポイントデータなのでストリーミング処理も要らない • 構文解析などまで手を染めるつもりはない最終的にメンバーで分析することも考えて、シンプルにクラウドRDBに送って、BI ツールで接続できるくらいがちょうどいい

© 2018 CData Software Japan, LLC | www.cdata.com/jp .NET C#
CData ADO.NET つまり、こんな感じのアーキテクチャにする .NET C# REST API HTTP JSON SQL RecordSet SQL Twitter Premium APIでツイートデータを取得フラット化したJSONデータを CData Sync で Azure SQL にレプリケート SQL 最終的にPower BIを使ってリツイートを分析 { json } RecordSet CData JSON Driver で JSON をリレーショナル化

© 2018 CData Software Japan, LLC | www.cdata.com/jp .NET C#
CData ADO.NET ちなみに、もし Standard Search API を使うなら 138時間連続稼働させることを考えてこんな感じに REST API HTTP JSON SQL RecordSet SQL SQL { json } RecordSet { json } { json } { json } Azure Functions Azure Storage Azure Web Apps もしくは、DataFactory という手も Azure SQL もしくは Datawarehouse

© 2018 CData Software Japan, LLC | www.cdata.com/jp まとめ •
Premium API なら大量ツイートも軽々さばける！ • 検索アプローチは要注意。やりたいこととどこまで検索対象にできるかは、事前に把握しておくこと。 • Twitter の JSON 構造は地味に複雑。今後も変化する可能性あるので柔軟に対応できる状態にしておくのがいい • 500万リツイートでも40GBほど、実はそこまでビッグでもないちょうどいいRDB選択でも十分分析できる

© 2018 CData Software Japan, LLC | www.cdata.com/jp CData Software
Japan ではメンバーを募集中！ https://www.wantedly.com/projects/265684

© 2018 CData Software Japan, LLC | www.cdata.com/jp Special Thanks
Blog公開時からご支援頂いた @渡部知記さん @Shohei Oda さん @Takeshi Kagata さん @小林竜也さん @東賢 (Ken Azuma)さん @井之上さんありがとうございます！

ZOZO前澤社長お年玉リツイート企画のビッグデータに立ち向かう方法

ZOZO前澤社長お年玉リツイート企画のビッグデータに立ち向かう方法

More Decks by Kazuya Sugimoto

Other Decks in Technology

Featured

Transcript