Watson StudioでTweetデータを可視化しよう! / Visualize Tweets with Watson Studio

2019-04-26 (金) IBM Cloud Community Summit 2019.04、「Watson StudioでTweetデータを可視化しよう!」の資料です。

github:
https://github.com/kyokonishito/pixiedust-twitter-analysis

notebook source code:
https://raw.githubusercontent.com/kyokonishito/pixiedust-twitter-analysis/master/notebooks/pixiedust-twitter-analysis.ipynb

Transcript

1. Watson Studioで Tweetデータを 可視化しよう! ⽇本アイ・ビー・エム(株) Developer Advocate ⻄⼾ 京⼦ IBM Cloud Community Summit 2019.04 2019-04-26 (⾦) 17:10〜17:40 SNS・写真撮影OK! ハッシュタグ #BMXUG
2. Kyoko NISHITO IBM Developer Advocate @kyokonishito
3. 3 このセッションについて • ⽬的 Watson Studio上の notebookからpythonを使⽤して Tweetデータ取得、 Natural Language Understandingで分析、 結果をPixieDustで視覚化する⽅法をご紹介します • ゴール Watson Studioでデータを可視化することができる ようになる
4. 4 Tweetからこんなの出します ある⽇のIBMでTwitter検索した結果をPixieDustでWordCloud化 注: 個⼈情報系にはモザイクを後からかけてあります
5. 5 PixieDustで別グラフへの変換が すぐ可能
6. 使⽤する主なテクノロジー 6 • Watson Studio • データ・サイエンティスト、アプリケーション開発者、対象分野の専⾨家がチームとなっ てデータ処理を簡単に⾏い、そのデータを使⽤してモデルの構築・トレーニング・デプロ イを⼤規模に⾏うことができるツール群 • jupyter notebook • Watson Studioでも使⽤できるWebブラウザーでpython実⾏が可能なツール • PixieDust • Jupyter notebookで使えるオープンソースのデータ視覚化ライブラリー • IBM Cloud Object Storage • 柔軟でコスト効率が⾼く拡張性を備えた、⾮構造化データ向けのクラウド・ストレージ • Natural Languege Understanding • ⾃然⾔語理解を使⽤して、テキストを分析して、概念、エンティティー、キーワード、カ テゴリー、評判、感情、関係、意味役割などのメタデータをコンテンツから抽出 • Twitter API • Twitterデータにプログラムレベルでアクセスできる、Twitter社が提供するAPIです。利⽤ には開発者登録をしてアクセスキーを取得する必要があります。 IBM Cloud IBM Cloud IBM Cloud
7. 7 Flow USER CLOUD EXTERNAL ① Read Config ④Save Results ② Get Tweet Data ③ Analyze Keywords ⑤ Visualize Data Twitter
8. 8 実際にやってみましょう!
9. 事前準備 9 今回はTwitter APIを使⽤してTweet Dataを取得します。 Twitter API KEYの取得が必要です。 ここではその取得⽅法は説明しませんので、お持ちでない⽅は 「Twitter API KEY 取得」等で検索し、取得お願いします。 Developer登録とApplication登録を⾏い取得できる、 以下の4つの値が必要です。 1. AccessToken 2. AccessTokenSecret 3. ConsumerKey 4. ConsumerSecret
10. ⼿順 10 1. 設定ファイルのダウンロード・Twitter Keyの設定 2. IBM Cloudにログイン https://cloud.ibm.com/ 3. リソースの作成(未作成の場合) • Natural Language Understanding (カテゴリ AI) • Watson Studio (カテゴリ AI) 3. Watson Studio: 起動 4. Watson Studio: プロジェクト作成 5. Watson Studio: githubのコードからnotebook作成 6. Watson Studio: 設定して実⾏
11. ⼿順 11 1. 設定ファイルのダウンロード・Twitter Keyの設定 2. IBM Cloudにログイン https://cloud.ibm.com/ 3. リソースの作成(未作成の場合) • Natural Language Understanding (カテゴリ AI) • Watson Studio (カテゴリ AI) 3. Watson Studio: 起動 4. Watson Studio: プロジェクト作成 5. Watson Studio: githubのコードからnotebook作成 6. Watson Studio: 設定して実⾏ 事前実⾏済み
12. ⼿順 12 1. 設定ファイルのダウンロード・Twitter Keyの設定 2. IBM Cloudにログイン https://cloud.ibm.com/ 3. リソースの作成(未作成の場合) • Natural Language Understanding (カテゴリ AI) • Watson Studio (カテゴリ AI) 3. Watson Studio: 起動 4. Watson Studio: プロジェクト作成 5. Watson Studio: githubのコードからnotebook作成 6. Watson Studio: 設定して実⾏
13. 1.設定ファイルのダウンロード・ Twitter Keyの設定 13 1. githubからファイルapikeys.iniのダウンロード https://github.com/kyokonishito/pixiedust-twitter-analysis/blob/master/apikeys.ini (1) [Raw]ボタンを右クリック (2)表⽰されたメニューから [リンク先を別名で保存] を選択してPCに保存 [Raw]ボタンを右クリック
14. 1.設定ファイルのダウンロード・ Twitter Keyの設定 14 2. ダウンロードしたファイルを編集し⾃分のTwitter Keyの値を4つ⼊ れて保存 [TWITTER] TWITTER_AccessToken=[AccessTokenの値] TWITTER_AccessTokenSecret=[AccessTokenSecretの値] TWITTER_ConsumerKey=[ConsumerKeyの値] TWITTER_ConsumerSecret=[ConsumerSecreの値]
15. ⼿順 15 1. 設定ファイルのダウンロード・Twitter Keyの設定 2. IBM Cloudにログイン https://cloud.ibm.com/ 3. リソースの作成(未作成の場合) • Natural Language Understanding (カテゴリ AI) • Watson Studio (カテゴリ AI) 3. Watson Studio: 起動 4. Watson Studio: プロジェクト作成 5. Watson Studio: githubのコードからnotebook作成 6. Watson Studio: 設定して実⾏ 事前実⾏済み
16. 2. IBM Cloudにログイン︕ 16 DOC ID / Month XX, 2018 / © 2018 IBM Corporation https://cloud.ibm.com/login アカウント取得はこちら! https://ibm.biz/Bd277W 事前実⾏済み
17. ⼿順 17 1. 設定ファイルのダウンロード・Twitter Keyの設定 2. IBM Cloudにログイン https://cloud.ibm.com/ 3. リソースの作成(未作成の場合) • Natural Language Understanding (カテゴリ AI) • Watson Studio (カテゴリ AI) 3. Watson Studio: 起動 4. Watson Studio: プロジェクト作成 5. Watson Studio: githubのコードからnotebook作成 6. Watson Studio: 設定して実⾏ 事前実⾏済み
18. 3. リソースの作成(未作成の場合) 18 DOC ID / Month XX, 2018 / © 2018 IBM Corporation 以下の2つのサービスが未作成の場合は作成します 1. Natural Language Understanding (カテゴリ AI) 2. Watson Studio (カテゴリ AI) 事前実⾏済み
19. 1. 「カタログ」をクリック 19 3. リソースの作成(未作成の場合) 事前実⾏済み
20. 20 2. 左側のメニューから 「AI」をクリック 3. リソースの作成(未作成の場合) 事前実⾏済み
21. 21 3. スクロールして使いたいWatsonサービスを クリック Natural Language Understanding をクリックしてください。 3. リソースの作成(未作成の場合) 事前実⾏済み
22. 22 4. 下にスクロールしてプランを選んだら「作成」 をクリック 3. リソースの作成(未作成の場合) 事前実⾏済み
23. 23 5. 下記のような画⾯に変わったら作成完了! 3. リソースの作成(未作成の場合) 事前実⾏済み
24. 24 6. 左側のメニューから「管理」をクリック 3. リソースの作成 事前実⾏済み
25. 25 資格情報にあるAPI KEYとURLをダウンロードした設定ファイル apikeys.ini のNLU_APIKEY,NLU_URLにコピーし保存します。 このアイコンで コピーできます 7. API鍵(＝API KEY), URLをコピー 3. リソースの作成 [IBM] NLU_APIKEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxx NLU_URL=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxx apikeys.ini 説明
26. 26 3. リソースの作成(未作成の場合) 8. Watson Studioも1­5の⼿順で同様に作成します 事前実⾏済み
27. ⼿順 27 1. 設定ファイルのダウンロード・Twitter Keyの設定 2. IBM Cloudにログイン https://cloud.ibm.com/ 3. リソースの作成(未作成の場合) • Natural Language Understanding (カテゴリ AI) • Watson Studio (カテゴリ AI) 4. Watson Studio: 起動 5. Watson Studio: プロジェクト作成 6. Watson Studio: githubのコードからnotebook作成 7. Watson Studio: 設定してnotebook実⾏
28. 4. Watson Studio: 起動 28 1. ダッシュボードを表⽰ (左上のIBM Cloudロゴをクリック) 2. サービスからWatson Studioのサービスを選択 3. Get Startedを選択して起動 DEMO
29. ⼿順 29 1. 設定ファイルのダウンロード・Twitter Keyの設定 2. IBM Cloudにログイン https://cloud.ibm.com/ 3. リソースの作成(未作成の場合) • Natural Language Understanding (カテゴリ AI) • Watson Studio (カテゴリ AI) 4. Watson Studio: 起動 5. Watson Studio: プロジェクト作成 6. Watson Studio: githubのコードからnotebook作成 7. Watson Studio: 設定してnotebook実⾏
30. 5. Watson Studio: プロジェクト作成 30 1. [Create a Project]をクリックします。 2. [Standard]をクリックします。 DEMO
31. 31 3. Nameに任意のProject名を⼊れます。 4. Cloud Object Storage未作成の場合(1): [Add]をクリックし作成 5. Watson Studio: プロジェクト作成 DEMO 事前実⾏済み
32. 32 4. Cloud Object Storage未作成の場合(2):スクロールしてプランを選択し、 [Create]をクリック 4. Cloud Object Storage未作成の場合(3):Confirm Creationはそのまま、 [Confirm]をクリック 5. Watson Studio: プロジェクト作成 事前実⾏済み
33. 33 4. Cloud Object Storage未作成の場合(4): ② Refreshをクリック 5. Watson Studio: プロジェクト作成 事前実⾏済み
34. 34 5. Storageに作成したCloud Object Storage 名または既存の使⽤したい Cloud Object Storage名がセットされていることを確認し、 [Create]をクリック 5. Watson Studio: プロジェクト作成 DEMO
35. 35 6. Projectの画⾯が表⽰されます 5. Watson Studio: プロジェクト作成 DEMO
36. ⼿順 36 1. 設定ファイルのダウンロード・Twitter Keyの設定 2. IBM Cloudにログイン https://cloud.ibm.com/ 3. リソースの作成(未作成の場合) • Natural Language Understanding (カテゴリ AI) • Watson Studio (カテゴリ AI) 4. Watson Studio: 起動 5. Watson Studio: プロジェクト作成 6. Watson Studio: githubのコードからnotebook作成 7. Watson Studio: 設定してnotebook実⾏
37. 37 1. [Add to project]をクリック 2. [Notebook]をクリック 6. Watson Studio: githubのコード からnotebook作成 DEMO
38. 38 3. [From URL]をクリック 4. Nameに適当なNotebookの名前を記⼊ 6. Watson Studio: githubのコード からnotebook作成 DEMO
39. 39 5. Notebook URLに以下を記入(改行なし) https://raw.githubusercontent.com/kyokonishito/pixiedust-twitter-analysis/master/notebooks/pixiedust-twitter-analysis.ipynb 6. Watson Studio: githubのコード からnotebook作成 DEMO
40. 40 7. Select runtimeに「python」が⼊っているものを選択して [Create Notebook]をクリック(通常はデフォルト値のままでよい) 6. Watson Studio: githubのコード からnotebook作成 DEMO
41. 41 8. github上のnotebookのコードがロードされて、notebookが開きます 6. Watson Studio: githubのコード からnotebook作成
42. ⼿順 42 1. 設定ファイルのダウンロード・Twitter Keyの設定 2. IBM Cloudにログイン https://cloud.ibm.com/ 3. リソースの作成(未作成の場合) • Natural Language Understanding (カテゴリ AI) • Watson Studio (カテゴリ AI) 4. Watson Studio: 起動 5. Watson Studio: プロジェクト作成 6. Watson Studio: githubのコードからnotebook作成 7. Watson Studio: 設定してnotebook実⾏
43. 43 以後はnotebook上の説明に従って進めます。 notebookのセル実⾏は[Ctrl]+[Enter]または▶Runボタンでできます。 7. Watson Studio: 設定して notebook実⾏
44. まとめ 44 1. Watson StudioのJupyter Notebookで pythonプログラミングができる 2.Watson StudioのJupyter Notebookから Watsonのサービスが呼び出せる 3.Watson StudioのJupyter Notebookから PixieDustを使⽤してデータの視覚化ができる
45. Q&A︖ 45
46. IBM Developer https://developer.ibm.com/jp/ AIやクラウドなどのアプリ開発に役⽴つ記事、のポータルサイト
47. IBM Code Patterns ⽇本語版: https://ibm.biz/ibmcodejp 英語版: https://developer.ibm.com/patterns/ ソースコードはGitHubで公開 ソースコードはApache2.0ライセンスで改変・商⽤利⽤がOKです ⽇本語版へのリンク
48. 48 本⽇の資料のLink http://ibm.biz/WS20190426 @KyokoNishito にてLINK公開予定
49. 49 Thank you twitter.com/KyokoNishito developer.ibm.com/jp/patterns/ IBM Watson