WatsonCafe_3.pdf - Speaker Deck

Slide 1

Slide 1 text

柳英⽣ Watson Technical Sales IBM Watsonの進化が⽌まらない〜 Watson Speech 編〜第3弾

Slide 3

Slide 3 text

2017/3 電話会話の⾳声認識 2019/5 ニュースの⾳声認識 Watson STTは IBM Researchの最先端の研究成果を随時取り込んでいます NISTにおけるWERの変遷 0 5 10 15 20 25 1999 2004 2009 2014 5.1% • 2017/3 深層学習技術を改良し NIST(⽶国⽴標準技術研究所) Switchboard でWER(Word Error Rate) 5.5%(世界最⾼)を達成 • 2017/9には、ヒトと同⽔準であると考えられるWER5.1%を達成したことを論⽂発表研究の対象は ︑ 異なる⾳声へニ " # ス⾳声は書き⾔葉に近いが ︑ 話者・話し⽅・雑⾳・話題が多岐にわたる 3 • ヒトと同等性能を達成した、電話会話の⾳声認識で開発した技術を 2つのニュース放送のテストデータに適⽤ • それぞれ WER 6.5%, 5.9%という新しいマイルストーンを達成し、これまで開発してきた技術が異なる⾳声にも適⽤可能であることを証明 • ⼀⽅で、このテストデータに対するヒトのWERはそれぞれ 3.6%, 2.8%であり、ヒトのレベルに到達するにはまだ⼤きな改善余地があることも確認 https://arxiv.org/abs/1703.02136 https://arxiv.org/abs/1904.13258 ニュースの⾳声認識精度で IBMが業界最⾼の性能を達成

Slide 7

Slide 7 text

© 2022 IBM Corporation 7 ⾳声認識技術の進化 (IBM東京基礎研究所の成果を反映） • 世界最⾼⽔準の⾳声認識技術を背景とした、ビジネス現場で安⼼して利⽤できる⾳声認識エンジンを提供しております 2015年5⽉認識誤り率 8% 2016年6⽉認識誤り率 6.9% 2017年3⽉認識誤り率 5.5% NIST Switchboardという電話⾳声会話の⾳声認識を⾏うという公開ベンチマークテストで、IBM はそれまでの業界トップの精度を36%上回る、認識誤り率8%という精度を達成しました。⾔語モデルと⾳響モデルの両⽅の点でニューラルネットワークを改善することでさらに認識誤り率6.9%を達成しました。 IBMとMicrosoftが6%近辺で技術⾰新を競っています。 IBM東京基礎研究所がIBMワトソン研究所のチームと協業し、ディープラーニング・テクノロジーを活⽤した技術により、電話会話⾳声認識で世界⼀の認識率を達成しました。今回達成した認識エラー率の5.5%は、⼈間の認識エラー率（単語誤り率）とされる前代未到の5.1％にまた⼀歩近づく快挙です。 https://ibm.biz/BdiR4v 2017年9⽉認識誤り率 5.1% IBMはLSTM(Long Short Term Memory)を拡張し、内部に⾼速ネットワークを追加したHW-LSTM (Highway LSTM)を⽤いた⾔語モデルを⽤いることにより、⼈間の認識エラー率と同等と考えられている5.1% の単語誤り率を達成しました。この⾶躍的な前進は、この分野における数⼗年に亘る研究開発とコグニティブコンピューティング思考に基づく技術⾰新により達成されました。将来、より⾃然な形で⼈間と機械が相互に関わりあえる世界を⽬指し、研究が進められています。 https://arxiv.org/abs/1709.06436 注︓⾳声認識の精度はテストセットの性質に依存します。この結果は専⽤のシステムを⽤いたSwitchboardテストセットでの精度です。 2021年最新状況 IBMリサーチにて認識誤り率 4.3% を達成 https://arxiv.org/abs/2105.00982

Slide 32

Slide 32 text

© 2022 IBM Corporation 32 IBM Watson Speech-to-Textの優位性 IBM Watson Speech-to-Text 他社⾳声認識精度 ○ IBM東京基礎研究所の⾳声認識技術により、2017年3⽉ NIST Switchboard電話会話ベンチマークテストで世界最⾼の誤り率 5.5%を記録。さらに、2017年9⽉には⼈間の認識エラー率と同等の5.1%を達成し、世界No1の認識率を達成した。(最新では 4.3%を達成) この研究成果を反映させたIBM Watson⾳声認識エンジンは、⽇本における実プロジェクトの⽐較評価においてもほぼ最⾼の評価を獲得。 △ 他社は基本的にベンチマーク⾮公開。カストマイズ機能（⾔語、⾳響） ○ 単語のみでなく⽂章（⽂脈の学習）や⽂法でも容易にカスタマイズが可能、また⾳響のカスタマイズも可能であり、さまざまなユースケースの要件に適合して⾼精度を実現できる。他社に⽐較し、少ないデータでカスタマイズが可能 △ ベースの語彙は充実しているが、カスタマイズ機能が⼗分でないものがほとんど。また、⽂脈の学習や⽂法のカスタマイズに対応し、そのカスタマイズ⽅法をユーザに解放しているものは⾒受けられない。稼働環境 (Anywhere) ○ クラウドやオンプレミス、他社クラウド上など要件に応じてさまざまな環境で稼働させることが可能。 × 限定的な提供形態。セキュリティ ○ クラウド環境では、SSLによる通信保護やクレデンシャルによる認証によって担保。ユーザーの⼊⼒情報を再利⽤しない指定が可能であるため、⾦融機関や⾏政機関などの厳しいセキュリティ要件を満たす。 △ インプットデータのベンダー再利⽤について、不透明な部分が多い。実績 ○ 2014年提供開始以来グローバルでも⽇本でも着実に実績を増加させ、現在は⾦融、流通、製造、官公庁などさまざまな分野の業務の中で活⽤されている。⽇本の⼤⼿メディア調査によると、AIソフト/サービスにおいて、IBMはNo1の顧客満⾜度を獲得(2019)。 △ ⼀部、⽇本国内でのシェアが⾼いソリューションが存在するが、多⾔語に対応し、グローバル全体においてもシェアが⾼いベンダはまだまだ少ない。多⾔語対応 ○ アメリカ英語、イギリス英語、⽇本語、スペイン語、アラビア語、標準中国語、フランス語、ポルトガル語等。⽇本語は⽇本⼈の開発者も参加。 △ ⾔語数が多いものの⾔語によっては著しく精度が低いものがある。機能強化・将来性 ○ 継続して機能強化を⾏なっており、今後も研究・開発に投資を続けていく。 △ コンシューマー向け製品も多く、戦略や計画が明確でないものが多い。 • Watson STTは特に ①認識精度の⾼さ ②ユーザに解放された豊富なカスタマイズ機能 ③機能強化・将来性において⾼い評価を獲得しています。

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text