Amazon Comprehendで始める感情分析

by Shirota

Slide 1

Slide 1 text

Amazon Comprehend から始める感情分析 AKIBA.AWS ONLINE #09 -AWSを活用した機械学習編- 2022/08/04(Thu.) Shirota

Slide 2

Slide 2 text

データアナリティクス事業本部機械学習チーム所属 2022年1月入社（3年半ぶり2回目）高エネルギー宇宙物理学専攻→インフラエンジニア →バーチャルソリューションアーキテクト（AWS） →バーチャルMLエンジニア最近はGoogle Cloudにお熱住まいはバーチャル愛知県のバーチャル名古屋市 → Shirota 今日の話し手

Slide 3

Slide 3 text

Amazon Comprehendとは？今日話すこと 1 2 3 4 そもそも感情分析とはネガポジ分析のやり方それぞれの手法の長所・短所

Slide 4

Slide 4 text

Amazon Comprehend とは？

Slide 5

Slide 5 text

Amazon Comprehend とは？機械学習を使用して、テキストからインサイトや関係性を発見するための自然言語処理 (NLP) サービス引用：https://aws.amazon.com/jp/comprehend/

Slide 6

Slide 6 text

😀？

Slide 7

Slide 7 text

つまりどういうこと？

Slide 8

Slide 8 text

Amazon Comprehend とは？テキスト Amazon Comprehend 色々できる機械学習

Slide 9

Slide 9 text

もう少し深掘りしよう

Slide 10

Slide 10 text

Amazon Comprehendでできる色々カスタム分類エンティティ認識カスタムエンティティ認識感情分析エンティティ特化の　感情分析 PII 識別とリダクションキーフレーズ抽出イベント検出言語検出構文解析トピックモデリング

Slide 11

Slide 11 text

Amazon Comprehendでできる色々カスタム分類エンティティ認識カスタムエンティティ認識感情分析エンティティ特化の　感情分析手持ちの文章を利用してカスタムしたラベリングでテキストを分類できる

Slide 12

Slide 12 text

Amazon Comprehendでできる色々カスタム分類エンティティ認識カスタムエンティティ認識感情分析エンティティ特化の　感情分析文章中のエンティティ（各単語）を識別する特殊な状況を学習させたカスタムモデルを作成・利用した識別もできる

Slide 13

Slide 13 text

Amazon Comprehendでできる色々 PII 識別とリダクションキーフレーズ抽出イベント検出言語検出構文解析トピックモデリング PII（個人情報）を識別してマスクをかけることができる

Slide 14

Slide 14 text

Amazon Comprehendでできる色々 PII 識別とリダクションキーフレーズ抽出イベント検出言語検出構文解析トピックモデリング文章内で重要なフレーズを抽出する「誰が」「いつ」「どこで」といった情報を抽出する

Slide 15

Slide 15 text

Amazon Comprehendでできる色々 PII 識別とリダクションキーフレーズ抽出イベント検出言語検出構文解析トピックモデリング何語で書かれた文章かを分析する文章を単語サイズに分解して品詞の識別をする（いわゆる形態素解析）

Slide 16

Slide 16 text

Amazon Comprehendでできる色々 PII 識別とリダクションキーフレーズ抽出イベント検出言語検出構文解析トピックモデリング文章内の単語からトピックを分類し、S3に配置しているドキュメントファイルがどのトピックに関連したものかを分析する

Slide 17

Slide 17 text

Amazon Comprehendでできる感情分析関連カスタム分類エンティティ認識カスタムエンティティ認識感情分析エンティティ特化の　感情分析 ← New!! 　　　　　　（2022.03） PII 識別とリダクションキーフレーズ抽出イベント検出言語検出構文解析トピックモデリング

Slide 18

Slide 18 text

そもそも感情分析ってなんだろう

Slide 19

Slide 19 text

感情分析とは？自然言語処理を用いて自然言語（人間が使っている言葉）をコンピュータで処理できるようにし、そこから感情を分析すること

Slide 20

Slide 20 text

感情分析とは？今日は雨が降っていていまいち元気が出ない

Slide 21

Slide 21 text

感情分析とは？

Slide 22

Slide 22 text

感情分析とは？今日は雨が降っていていまいち元気が出ない

Slide 23

Slide 23 text

これはネガポジ分析

Slide 24

Slide 24 text

ネガポジ分析やってみたい！

Slide 25

Slide 25 text

それ、機械学習無くてもできるんですよ

Slide 26

Slide 26 text

No content

Slide 27

Slide 27 text

ネガポジ分析の手法極性辞書を使うディープラーニングを用いる

Slide 28

Slide 28 text

ネガポジ分析の手法極性辞書を使う（機械学習不要）ディープラーニングを用いる

Slide 29

Slide 29 text

極性辞書とは単語に極性情報を付与している辞書ネガティブ・ポジティブを -1（ネガティブ）〜 +1（ポジティブ）に振り分けた数値を極性値と呼ぶ

Slide 30

Slide 30 text

極性辞書を使うメリット・デメリット既に用意されたものを使えるので学習コストが低く、それなりの結果が得られる Pythonで使えるライブラリ「oseti」があったり柔軟性が低い辞書のカスタムが大変カスタムのためには学習コストも生じる

Slide 31

Slide 31 text