ソーシャルメディア分析Saasの大規模自然言語処理におけるSageMakerの活用事例＠第5回 Amazon SageMaker 事例祭り

Slide 1

Slide 1 text

ソーシャルメディア分析Saasの⼤規模⾃然⾔語処理における SageMakerの活⽤事例株式会社ホットリンク榊剛史／⼭中志⼀

Slide 2

Slide 2 text

今⽇の発表 AI技術の活⽤事例 SageMakerの活⽤事例第6回 Amazon SageMaker 事例祭り会社紹介

Slide 3

Slide 3 text

今⽇の発表 AI技術の活⽤事例 SageMakerの活⽤事例第6回 Amazon SageMaker 事例祭り会社紹介

Slide 4

Slide 4 text

軽く⾃⼰紹介榊剛史 (株)ホットリンク R&D部部⻑，PhD 東京⼤学客員研究員推しの研究分野 – ⼈⼯知能 – 計算社会科学 – ⾃然⾔語処理第6回 Amazon SageMaker 事例祭り⼭中志⼀ (株)ホットリンクリサーチプログラマ推しの開発ツール – AWS • SageMaker • Fargate @tksakaki

Slide 5

Slide 5 text

社名株式会社ホットリンク資本金 2,358百万円（2018年12月末時点）本社東京都千代田区富士見１－３－１１富士見デュープレックスビズ5階設立 2000年6月26日代表代表取締役社長内山幸樹事業内容ソーシャル･ビッグデータの分析･販売事業クラウドサービス事業インバウンドプロモーション支援事業など連結子会社株式会社トレンドExpress（100％子会社） EFFYIS、inc。（100％子会社）流行特急(100%中国小会社) 会社概要株式市場東京証券取引所マザーズ第6回 Amazon SageMaker 事例祭り

Slide 6

Slide 6 text

Big Data Social AI 事業コンセプトソーシャル・ビッグデータを活⽤し，「データとAIで意思決定をサポートする」ことを⽬指し，マーケティングに関わる事業を運営・提供しています．第6回 Amazon SageMaker 事例祭り

Slide 7

Slide 7 text

会社概要ソーシャル・ビッグデータを活用し，「データとAIで意思決定をサポートする」ことを目指し，マーケティングに関わる事業を運営・提供しています．クチコミのマーケティング活用 SNSアカウント活用の効率化訪日中国人の現状把握ソーシャル・ビッグデータ解析ツール事業クロスバウンド・マーケティング支援事業ソーシャル・ビッグデータ流通・販売事業 24種類の口コミデータ流通・販売第6回 Amazon SageMaker 事例祭り

Slide 8

Slide 8 text

ソーシャルメディア分析ツール https://service.hottolink.co.jp/service/kakaricho/ 投影俯瞰ネット世界リアル世界世界観第6回 Amazon SageMaker 事例祭り

Slide 9

Slide 9 text

ソーシャルメディア分析ツール第6回 Amazon SageMaker 事例祭り

Slide 10

Slide 10 text

ソーシャルメディアアカウント運用ツール https://service.hottolink.co.jp/service/buzzspreader/ https://hashtag-ai.buzzspreader.com これまでの情報発信 SNSを活用した情報発信・拡散世界観第6回 Amazon SageMaker 事例祭り

Slide 11

Slide 11 text

今⽇の発表 AI技術の活⽤事例 SageMakerの活⽤事例第6回 Amazon SageMaker 事例祭り会社紹介

Slide 12

Slide 12 text

既存プロダクト（主力）ルールベース・機械学習ホットリンクとAI（人工知能）技術の歴史 BuzzSpreader （開発中）深層学習を含む機械学習 2005年 2019年深層学習を含む機械学習 Ø スパム推定 Ø 属性推定（性別、年齢、職業等） Ø 画像解析 Ø 時系列解析 Ø キーワード抽出 Ø 評判分析 Ø キーワード抽出 2015年 2010年既存プロダクト（主力以外）機械学習 Ø 株価予測 Ø 自動レコメンド Ø 選挙予測社会ネットワーク分析機械学習を含んだシステムを⻑期的に運⽤してきた実績がある Ø コミュニティ抽出 Ø 情報伝播分析第6回 Amazon SageMaker 事例祭り

Slide 13

Slide 13 text

既存プロダクト（主力）ルールベース・機械学習ホットリンクとAI（人工知能）技術の歴史 BuzzSpreader （開発中）深層学習を含む機械学習 2005年 2019年深層学習を含む機械学習 Ø スパム推定 Ø 属性推定（性別、年齢、職業等） Ø 画像解析 Ø 時系列解析 Ø キーワード抽出 Ø 評判分析 Ø キーワード抽出 2015年 2010年既存プロダクト（主力以外）機械学習 Ø 株価予測 Ø 自動レコメンド Ø 選挙予測社会ネットワーク分析 Ø コミュニティ抽出 Ø 情報伝播分析ルールベース+α の時期機械学習の時期深層学習の時期第6回 Amazon SageMaker 事例祭り

Slide 14

Slide 14 text

機械学習のビジネス活⽤事例ユーザの属性推定インタレスト属性推定第6回 Amazon SageMaker 事例祭りハッシュタグ推薦

Slide 15

Slide 15 text

SNSアカウントのプロフィール推定マーケティング担当者⾃社製品／ブランドについて、どこの誰が興味を持っているかがわからないユーザの属性推定第6回 Amazon SageMaker 事例祭り目的

Slide 16

Slide 16 text

SNSアカウントのプロフィール推定第6回 Amazon SageMaker 事例祭り

Slide 17

Slide 17 text

SNSアカウントのプロフィール推定発⾔・⾃⼰紹介⽂の特徴からユーザのプロフィールを推定⾃⼰紹介⽂投稿内容テキスト解析第6回 Amazon SageMaker 事例祭り

Slide 18

Slide 18 text

Twitterユーザデータ 10代 20代学習データ 30代 40代 50代 60代 10代 10代１０代⼗代 20代 20代２０代⼆⼗代 30代 30代３０代三⼗代 40代 40代４０代四⼗代 50代 50代５０代五⼗代 60代 60代６０代六⼗代還暦投稿データ 10代特徴 20代特徴 30代特徴 40代特徴 50代特徴 60代特徴⾃⼰紹介⽂⽂書分類（fasttext） 10代分類器 20代分類器 30代分類器 40代分類器 50代分類器 60代分類器 one-versus-the-rest︓ 例︓60代判別器︓ 60代と60代以外を分類する学習データ収集特徴量生成モデル構築 SNSアカウントのプロフィール推定第6回 Amazon SageMaker 事例祭り⼿法の概要

Slide 19

Slide 19 text

SNSアカウントのプロフィール推定男性⼥性⾃⼰紹介︓男⼦⾃⼰紹介︓⼥の⼦⾃⼰紹介︓愛しています⾃⼰紹介︓⼥性発⾔︓腐⼥⼦⾃⼰紹介︓キスマイ発⾔︓⼥⼦⾼⽣発⾔︓腐男⼦各ユーザ属性の分類に有効な特徴量（Support Vector Machine）⼤学⽣それ以外⾃⼰紹介:回⽣⾃⼰紹介︓元気⾃⼰紹介︓⼥⼦⼤⾃⼰紹介︓海外旅⾏発⾔︓レポート⾃⼰紹介:キロ発⾔︓サークル発⾔︓遠⾜発⾔︓履修登録発⾔︓職場 50代それ以外⾃⼰紹介︓おじさん⾃⼰紹介︓⼥⼦⾃⼰紹介︓おばさん⾃⼰紹介︓ゲーム⾃⼰紹介︓読書⾃⼰紹介︓在住⾃⼰紹介︓蕎⻨⾃⼰紹介︓社会⼈発⾔︓膝発⾔︓(t_t) 第6回 Amazon SageMaker 事例祭り

Slide 20

Slide 20 text

機械学習のビジネス活⽤事例ユーザの属性推定インタレスト属性推定第6回 Amazon SageMaker 事例祭りハッシュタグ推薦

Slide 21

Slide 21 text

SNSアカウントの興味関心推定マーケティング担当者⾃社製品／ブランドについて興味を持っている⼈は、他にどんなことに興味を持っているのか知りたいインタレスト属性推定第6回 Amazon SageMaker 事例祭り目的

Slide 22

Slide 22 text

SNSアカウントの興味関心推定第6回 Amazon SageMaker 事例祭り

Slide 23

Slide 23 text

SNSアカウントの興味関心推定 – ユーザの投稿内容から，そのユーザのインタレストを推定する – 特定のインタレストを⼊⼒すると，そのインタレストについて⾔及しているユーザリストを作成することができる – ユーザ・ユーザリストを⼊⼒すると，それらに紐付いたインタレストの分布を知ることができる – あるユーザのインタレストを推定することができる – 特定のインタレストに興味を持っているユーザ群を抽出できる⽬的⽅法論貢献第6回 Amazon SageMaker 事例祭り

Slide 24

Slide 24 text

– GraphDBにキーワード/インタレスト/カテゴリのグラフ構造を格納する – 各ユーザの投稿からキーワードを抽出する – キーワードに重みを与え、GraphDB上で伝播させた後、重みが⼤きいカテゴリノードをインタレストとして抽出 SNSアカウントの興味関心推定第6回 Amazon SageMaker 事例祭り⼿法の概要・・・・・・・・・・・・・・・・ユーザノードキーワードノードインタレストノードカテゴリノード厳密にはAI技術ではないですが。。。

Slide 25

Slide 25 text

SNSアカウントの興味関心推定第6回 Amazon SageMaker 事例祭りデプロイ

Slide 26

Slide 26 text

機械学習のビジネス活⽤事例ユーザの属性推定インタレスト属性推定第6回 Amazon SageMaker 事例祭りハッシュタグ推薦

Slide 27

Slide 27 text

ハッシュタグ推薦第6回 Amazon SageMaker 事例祭り SNSアカウント運用者どんなハッシュタグを付ければ、いいね数・コメント数が増えるかがわからない

Slide 28

Slide 28 text

ハッシュタグ推薦（画像）第6回 Amazon SageMaker 事例祭り

Slide 29

Slide 29 text

ハッシュタグ推薦（画像） – ⼊⼒した画像からInstagramらしいハッシュタグを取得したい – 特定のユーザ群をターゲットとする場合のコンテンツ作成やクリエイティブ作成の⼿掛かりとなる⽬的⽅法論貢献第6回 Amazon SageMaker 事例祭り社外秘（スライド公開時は削除予定）

Slide 30

Slide 30 text

ハッシュタグ推薦（画像）近傍探索によるハッシュ画像推薦第6回 Amazon SageMaker 事例祭り社外秘（スライド公開時は削除予定）

Slide 31

Slide 31 text

ハッシュタグ推薦（画像）デプロイ第6回 Amazon SageMaker 事例祭り社外秘（スライド公開時は削除予定）

Slide 32

Slide 32 text

今⽇の発表 AI技術の活⽤事例 SageMakerの活⽤事例第6回 Amazon SageMaker 事例祭り会社紹介

Slide 33

Slide 33 text

SNS投稿からのキーフレーズ抽出第6回 Amazon SageMaker 事例祭り

Slide 34

Slide 34 text

SNS投稿からのキーフレーズ抽出 – SNS投稿から，投稿のトピックを代表するフレーズを抽出する – – ⼊⼒：SNS投稿（もしくはスニペット） – 出⼒：キーフレーズリスト – 昨⽇の君の名はのついったー実況はめっちゃ盛り上がった – 君の名は，ついったー，実況⽬的⽅法論サンプル第6回 Amazon SageMaker 事例祭り

Slide 35

Slide 35 text

SNS投稿からのキーフレーズ抽出第6回 Amazon SageMaker 事例祭り⼿法レインボー Char embedding CNN Word embedding PoS embedding BiLSTM CRF わたあめ Char embedding CNN Word embedding PoS embedding BiLSTM CRF BiLSTM – Char CNN – PoS – CRF （系列ラベリング）ハッシュタグをキーフレーズとし、SNSデータ約1.5年分を使用して学習例）入力：念願のレインボーわたあめ食べた出力：O O B I O O

Slide 36

Slide 36 text

SNS投稿からのキーフレーズ抽出第6回 Amazon SageMaker 事例祭り SageMakerの活⽤ ※SageMakerが無いとき ※SageMakerがあるとき

Slide 37

Slide 37 text

トレーニングジョブでモデルを学習（ノートブック上で可能） GPUでも回るか GPUノートブックで確認（設定を変えるだけ） SNS投稿からのキーフレーズ抽出第6回 Amazon SageMaker 事例祭り SageMakerの活⽤安価なCPUノートブックでモデル作成トレーニングジョブ

Slide 38

Slide 38 text

SNS投稿からのキーフレーズ抽出第6回 Amazon SageMaker 事例祭り SageMakerの活⽤ ①学習スクリプト ②ソースディレクトリ ④学習データ ③学習インスタンス

Slide 39

Slide 39 text

SNS投稿からのキーフレーズ抽出第6回 Amazon SageMaker 事例祭り SageMakerの活⽤ ②ソースディレクトリ ①学習スクリプト ④学習データ ③学習インスタンス ②ソースディレクトリ ①学習スクリプト ④学習データ

Slide 40

Slide 40 text

SNS投稿からのキーフレーズ抽出コンテナ化に時間がかかる – ノートブック上のソースコードをコピーして、学習⽤コンテナを作成するため – 「source_dir」内はできるだけ軽量にしておく – できれば「トレーニングジョブ」画⾯でジョブをクローンして、設定を編集するだけで試したいパターンを試せるようにしておく第6回 Amazon SageMaker 事例祭りめんどくさかったこと

Slide 41

Slide 41 text

SNS投稿からのキーフレーズ抽出 SNSデータ2億件を使ったword2vec作成が1時間！ – コーパスを⽤意すれば、組み込みアルゴリズムBlazingTextに必要項⽬設定するだけで、p3.2xlargeでサクッと1時間ログが簡単にのこる – GPUやCPU、メモリ使⽤率は「モニタリング」で確認でき、残したいログはprint()でもCloudWatchに出⼒される N個同時に別々に学習ができる – ハイパーパラメータ調整もお⼿軽トレーニングジョブをクローンして再実⾏できる – ハイパーパラメータを再設定できるので、別のデータで学習可能第6回 Amazon SageMaker 事例祭りうれしかったこと

Slide 42

Slide 42 text

SNS投稿からのキーフレーズ抽出 SageMakerとして、インスタンス制限がある – デフォルトml.p3.2xlarge : 2、ml.p2.xlarge : 1等々 – いつもの「制限緩和のリクエスト」で緩和をお願いするノートブックインスタンスを再起動すると新規の環境として起動 – インストールしたライブラリはもう⼀度インストール – $HOME/SageMaker/ 以下は消えないので安⼼学習してるとノートブックのストレージがいっぱいに？第6回 Amazon SageMaker 事例祭り注意点

Slide 43

Slide 43 text

おわりにおわりに第6回 Amazon SageMaker 事例祭り

Slide 44

Slide 44 text

おわりにホットリンク社の紹介 AI技術の活⽤事例 – ユーザの属性推定 – インタレスト属性推定 – ハッシュタグ推薦 SageMakerの活⽤事例 – モデル学習の効率化 – 当社での使う際の流れ – メリット・注意点第6回 Amazon SageMaker 事例祭り

Slide 45

Slide 45 text

CM：学習済みモデルの配布単語分散表現：hottoSNS-w2v – https://github.com/hottolink/hottoSNS-w2v ⽂分散表現：hottoSNS-bert – https://github.com/hottolink/hottoSNS-bert モデル名分かち書き学習⾔語学習ドメイン BERT Multi WordPiece 多⾔語 Wikipedia BERT JP SentencePiece ⽇本語 Wikipedia hottoSNS-BERT SentencePiece ⽇本語 Twitter モデル相関係数⽇本語⼤規模SNS+Webコーパス 0.548 Wikipedia (ホットリンク) 0.478 Wikipedia (東北⼤) 0.472 第6回 Amazon SageMaker 事例祭り

Slide 46

Slide 46 text

CM：⾔語理解とコミュニケーション研究会第15回テキストアナリティクス・シンポジウム – 概要： • 学術・産業でテキスト解析を活⽤している⽅を対象とした研究会 • http://www.ieice.org/~nlc/tm15.html – ⽇程： • 2019年 9⽉ 27⽇ (⾦) • 2019年 9⽉ 28⽇ (⼟) – 場所： • フューチャー株式会社 • 東京都品川区⼤崎1-2-2 アートヴィレッジ⼤崎セントラルタワー – 発表募集締切：7⽉19⽇原稿締切：8⽉中旬 • DC研究会と連催第6回 Amazon SageMaker 事例祭り