Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Comprehendで始める感情分析
Search
Shirota
August 04, 2022
Technology
0
1k
Amazon Comprehendで始める感情分析
2022年8月4日(木)に開催された「AKIBA.AWS ONLINE #09 -AWSを活用した機械学習 編- 」で登壇した際の資料です。
Shirota
August 04, 2022
Tweet
Share
More Decks by Shirota
See All by Shirota
再ジョインブログの裏側の話(形態素解析パート)
46ta
0
9.2k
Amazon Braketのすごさを知ろう~量子コンピュータことはじめ~
46ta
0
2.4k
AWS Update and Region in number
46ta
0
510
Other Decks in Technology
See All in Technology
書を捨てよ、現場へ出よう
nwiizo
11
8.7k
MLOpsのエッセンスを取り⼊れて評価 pipelineを再構築している件
sansantech
PRO
1
230
SwiftUIのpropertyWrapperをふんわり理解する
jambo_develop_team
0
110
App Runnerでパラメーターストアの値を使ってみた
miura55
0
230
『LeanとDevOpsの科学』をきちんと解読する 〜Four Keys だけじゃ絶対もったいなくなる話〜
bonotake
27
6.5k
UIからの自動テスト事例
tomasagi
8
3.3k
調整さんの調整結果をカレンダーへ登録するGPTsを作った話
hrsano645
1
160
スクラムマスター不在でスクラムをやるのは(とても辛いので)やめておけ! #scrumfukuoka
nulabinc
PRO
4
890
The Twelve-Factor App とクラウドアプリケーションのコスト
ny7760
3
260
進化する事業とデータ構造 ~Cloudbaseの場合~
tockn
2
220
EKSの認証認可の仕組みとEKS APIを用いた認可制御について
daitak
0
250
Autonomous Database サービス・アップデート (FY24)
oracle4engineer
PRO
0
360
Featured
See All Featured
It's Worth the Effort
3n
180
27k
Building Effective Engineering Teams - LeadDev
addyosmani
25
1.6k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
11
1.4k
The Cost Of JavaScript in 2023
addyosmani
13
3.7k
Principles of Awesome APIs and How to Build Them.
keavy
119
16k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.1k
Automating Front-end Workflow
addyosmani
1353
200k
What’s in a name? Adding method to the madness
productmarketing
PRO
14
2.5k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
219
21k
Scaling GitHub
holman
456
140k
Transcript
Amazon Comprehend から始める感情分析 AKIBA.AWS ONLINE #09 -AWSを活用した機械学習 編- 2022/08/04(Thu.) Shirota
データアナリティクス事業本部機械学習チーム所属 2022年1月入社(3年半ぶり2回目) 高エネルギー宇宙物理学専攻→インフラエンジニア →バーチャルソリューションアーキテクト(AWS) →バーチャルMLエンジニア 最近はGoogle Cloudにお熱 住まいはバーチャル愛知県のバーチャル名古屋市 → Shirota
今日の話し手
Amazon Comprehendとは? 今日話すこと 1 2 3 4 そもそも感情分析とは ネガポジ分析のやり方 それぞれの手法の長所・短所
Amazon Comprehend とは?
Amazon Comprehend とは? 機械学習を使用して、 テキストからインサイトや関係性を発見するための 自然言語処理 (NLP) サービス 引用:https://aws.amazon.com/jp/comprehend/
😀?
つまりどういうこと?
Amazon Comprehend とは? テキスト Amazon Comprehend 色々 できる 機械学習
もう少し深掘りしよう
Amazon Comprehendで できる色々 カスタム分類 エンティティ認識 カスタムエンティティ 認識 感情分析 エンティティ特化の
感情分析 PII 識別とリダクション キーフレーズ抽出 イベント検出 言語検出 構文解析 トピックモデリング
Amazon Comprehendで できる色々 カスタム分類 エンティティ認識 カスタムエンティティ 認識 感情分析 エンティティ特化の
感情分析 手持ちの文章を利用し てカスタムしたラベリ ングでテキストを分類 できる
Amazon Comprehendで できる色々 カスタム分類 エンティティ認識 カスタムエンティティ 認識 感情分析 エンティティ特化の
感情分析 文章中のエンティティ (各単語)を識別する 特殊な状況を学習させ たカスタムモデルを作 成・利用した識別もで きる
Amazon Comprehendで できる色々 PII 識別とリダクション キーフレーズ抽出 イベント検出 言語検出 構文解析 トピックモデリング
PII(個人情報)を識別 してマスクをかけるこ とができる
Amazon Comprehendで できる色々 PII 識別とリダクション キーフレーズ抽出 イベント検出 言語検出 構文解析 トピックモデリング
文章内で重要なフレーズ を抽出する 「誰が」「いつ」「どこ で」といった情報を 抽出する
Amazon Comprehendで できる色々 PII 識別とリダクション キーフレーズ抽出 イベント検出 言語検出 構文解析 トピックモデリング
何語で書かれた文章かを 分析する 文章を単語サイズに分解 して品詞の識別をする (いわゆる形態素解析)
Amazon Comprehendで できる色々 PII 識別とリダクション キーフレーズ抽出 イベント検出 言語検出 構文解析 トピックモデリング
文章内の単語からトピッ クを分類し、S3に配置し ているドキュメントファ イルがどのトピックに関 連したものかを分析する
Amazon Comprehendで できる感情分析関連 カスタム分類 エンティティ認識 カスタムエンティティ 認識 感情分析 エンティティ特化の
感情分析 ← New!! (2022.03) PII 識別とリダクション キーフレーズ抽出 イベント検出 言語検出 構文解析 トピックモデリング
そもそも感情分析って なんだろう
感情分析 とは? 自然言語処理を用いて 自然言語(人間が使っている言葉)を コンピュータで処理できるようにし、 そこから感情を分析すること
感情分析 とは? 今日は雨が降っていて いまいち元気が出ない
感情分析 とは?
感情分析 とは? 今日は雨が降っていて いまいち元気が出ない
これは ネガポジ分析
ネガポジ分析やってみたい!
それ、機械学習無くても できるんですよ
None
ネガポジ分析の手法 極性辞書を使う ディープラーニングを用いる
ネガポジ分析の手法 極性辞書を使う(機械学習不要) ディープラーニングを用いる
極性辞書とは 単語に極性情報を付与している辞書 ネガティブ・ポジティブを -1(ネガティブ)〜 +1(ポジティブ)に 振り分けた数値を極性値と呼ぶ
極性辞書を使う メリット・デメリット 既に用意されたものを使えるので学習コストが低く、 それなりの結果が得られる Pythonで使えるライブラリ「oseti」があったり 柔軟性が低い 辞書のカスタムが大変 カスタムのためには学習コストも生じる
ネガポジ分析の手法 極性辞書を使う(機械学習不要) ディープラーニングを用いる
ディープラーニングを用いて ネガポジ分析をする 文章と極性情報のラベルが揃った 教師データを用意してディープラーニングを行い 作成したモデルでネガポジ分析を行う
ディープラーニングを使う メリット・デメリット 柔軟性が高い モデル学習を進めることによって利用する環境に 合ったモデルが育っていく モデルを育てるまでが大変 モデルに利用するための教師データの用意 ディープラーニングそのものの学習コスト
本音 極性辞書を使う ディープラーニングを用いる 準備が少なくて、柔軟性もありそうな ディープラーニングを用いたやつが使いたい……
そこでComprehendですよ
「手っ取り早くやってみた」は ブログで!
Amazon Comprehendは 初めてのネガポジ分析挑戦に おすすめ!
ご清聴ありがとう ございました!