AI×WebRTCで実現する新時代のコミュニケーションのカタチこれからのビデオ・音声通話はどう変わる？/ The Future of Communication: AI and WebRTC Transforming Video and Voice Calls How Will Video and Voice Calls Evolve in the Coming Era?

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© NTT Communications Corporation All Rights Reserved. 2 早稲⽥⼤学にて⼈⼯知能(対話システム)の研究 SkyWayにDevOpsエンジニアとして参画 WebRTC R&Dチームの⽴ち上げ WebRTC R&Dチームの拡⼤・リーダー次世代のWebRTCに関する技術調査 SkyWay推進室 WebRTC Researcher 内⽥裕貴 2017.03 2019.04 2020.09 2022.11 2024.01 WebRTC歴: 5年over WebRTC Research歴: 3年over 機械学習エンジニア歴: 7年over Podcast出演: fukabori.rm #43 (2021) イベント登壇: Web24プロトコルセッション (2021) Yuki Uchida X: @yuki_wtz

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© NTT Communications Corporation All Rights Reserved. 14 WebRTCの紹介出典：Global Industry Analysts, Inc.「Webリアルタイム通信（WebRTC）の世界市場 2022年に67億⽶ドルと推計されたWebリアルタイム通信（WebRTC）の世界市場は 2030年には817億⽶ドルに達すると予測される WebRTCの市場

Slide 15

Slide 15 text

© NTT Communications Corporation All Rights Reserved. 15 WebRTCの紹介出典：Global Industry Analysts, Inc.「Webリアルタイム通信（WebRTC）の世界市場 2022年に67億⽶ドルと推計されたWebリアルタイム通信（WebRTC）の世界市場は 2030年には817億⽶ドルに達すると予測される 2022~2030年成⻑⾒込 12.2 倍 WebRTCの市場

Slide 16

Slide 16 text

© NTT Communications Corporation All Rights Reserved. 16 WebRTCの紹介出典：Global Industry Analysts, Inc.「Webリアルタイム通信（WebRTC）の世界市場 2022~2030年成⻑⾒込 12.2 倍 2022年に67億⽶ドルと推計されたWebリアルタイム通信（WebRTC）の世界市場は 2030年には817億⽶ドルに達すると予測される 2022~2030年年成⻑率(CAGR) 36.7 % WebRTCの市場

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© NTT Communications Corporation All Rights Reserved. 18 WebRTCの紹介オンライン商談システム市場規模推移および予測（2019〜2025年度予測）出典：ITR「ITR Marhet View：SFA／統合型マーケティング⽀援市場2022」※ベンダーの売上⾦額を対象とし、3⽉期ベースで換算。2021年度以降は予測値。 0 10 20 30 40 50 60 70 2019 2020 2021 2022 2023 2024 2025 （年度）（単位：億円） 13 26 33 40 48 55 62 オンライン商談システム市場規模

Slide 19

Slide 19 text

© NTT Communications Corporation All Rights Reserved. 19 WebRTCの紹介 2019~2025年成⻑⾒込 4.7 倍オンライン商談システム市場規模推移および予測（2019〜2025年度予測）出典：ITR「ITR Marhet View：SFA／統合型マーケティング⽀援市場2022」※ベンダーの売上⾦額を対象とし、3⽉期ベースで換算。2021年度以降は予測値。 0 10 20 30 40 50 60 70 2019 2020 2021 2022 2023 2024 2025 （年度）（単位：億円） 13 26 33 40 48 55 62 オンライン商談システム市場規模

Slide 20

Slide 20 text

© NTT Communications Corporation All Rights Reserved. 20 WebRTCの紹介今後もオンライン接客・商談システムを導⼊する企業が増えていくと予測 2019~2025年成⻑⾒込 4.7 倍オンライン商談システム市場規模推移および予測（2019〜2025年度予測）出典：ITR「ITR Marhet View：SFA／統合型マーケティング⽀援市場2022」※ベンダーの売上⾦額を対象とし、3⽉期ベースで換算。2021年度以降は予測値。 0 10 20 30 40 50 60 70 2019 2020 2021 2022 2023 2024 2025 （年度）（単位：億円） 13 26 33 40 48 55 62 オンライン商談システム市場規模

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© NTT Communications Corporation All Rights Reserved. 32 AIの現在地 AIの歴史 1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝

Slide 33

Slide 33 text

© NTT Communications Corporation All Rights Reserved. 33 AIの現在地 AIの歴史 1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow)

Slide 34

Slide 34 text

© NTT Communications Corporation All Rights Reserved. 34 AIの現在地 AIの歴史 1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow) 2017: DeepL(翻訳)

Slide 35

Slide 35 text

© NTT Communications Corporation All Rights Reserved. 35 AIの現在地 AIの歴史 1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow) 2017: DeepL(翻訳) 2022: ChatGPT(⾔語⽣成)/Stable Diffusion(画像⽣成)

Slide 36

Slide 36 text

© NTT Communications Corporation All Rights Reserved. 36 AIの現在地 AIの歴史 1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow) 2017: DeepL(翻訳) 2022: ChatGPT(⾔語⽣成)/Stable Diffusion(画像⽣成) 2024: Sora(映像⽣成)

Slide 37

Slide 37 text

© NTT Communications Corporation All Rights Reserved. 37 AIの現在地 AIの歴史 1950 1990 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow) 2017: DeepL(翻訳) 2022: ChatGPT(⾔語⽣成)/Stable Diffusion(画像⽣成) 2024: Sora(映像⽣成) さらなる性能向上と速度向上へ… 2010

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

© NTT Communications Corporation All Rights Reserved. 56 AIによって実現する次世代コミュニケーションユースケース1: LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている 1. 社内⽂書を学習しリアルタイムに回答する対話Bot 2. 社内システムと連携した旅⾏代理店Bot 3. ファシリテーションを⾏なってくれる議事進⾏Bot

Slide 57

Slide 57 text

© NTT Communications Corporation All Rights Reserved. 57 AIによって実現する次世代コミュニケーションユースケース1: LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている 1. 社内⽂書を学習しリアルタイムに回答する対話Bot 2. 社内システムと連携した旅⾏代理店Bot 3. ファシリテーションを⾏なってくれる議事進⾏Bot 4. 採⽤サポートBot

Slide 58

Slide 58 text

© NTT Communications Corporation All Rights Reserved. 58 AIによって実現する次世代コミュニケーションユースケース1: LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている 1. 社内⽂書を学習しリアルタイムに回答する対話Bot 2. 社内システムと連携した旅⾏代理店Bot 3. ファシリテーションを⾏なってくれる議事進⾏Bot 4. 採⽤サポートBot

Slide 59

Slide 59 text

© NTT Communications Corporation All Rights Reserved. 59 AIによって実現する次世代コミュニケーションユースケース1: LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている 1. 社内⽂書を学習しリアルタイムに回答する対話Bot 2. 社内システムと連携した旅⾏代理店Bot 3. ファシリテーションを⾏なってくれる議事進⾏Bot 4. 採⽤サポートBot これらの例はtoB ユースケースの極⼀部

Slide 60

Slide 60 text

Slide 61

Slide 61 text

© NTT Communications Corporation All Rights Reserved. 61 オンラインコミュニケーション×⽣成AI ⽣成AIは幅広い対応が期待できユースケースも多様オンラインコミュニケーションとも相性が良い従来の AI （⽤途特化型）商品名や商品コードなど商品名やエラーコードなど⽬的地名称や住所など価格、販売店、在庫情報対応策修理窓⼝情報最短ルートや旅費〇〇という商品について教えて〇〇が壊れて動きません⼤⼿町へ⾏きたい観光名所も教えて価格、販売店、在庫情報、その他商品に関連した情報は〇〇です。故障の確認点は〇〇です。エラーコードは何ですか？対応策は〇〇です。最短ルートや旅費は〇〇、観光名所は〇〇です。⽣成 AI 製品問合せカスタマーサポート道案内従来の AI（⽤途特化型）⽣成 AI

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

© NTT Communications Corporation All Rights Reserved. 66 AIによって実現する次世代コミュニケーションユースケース1: LLMとリアルタイムに対話をする toC ユースケースも様々な活⽤⽅法が予想される 1. AI英会話(ELSA Speak) 2. おしゃべりAI(Cotomo) 3. AIキャラクターとの交流(ai.town) コンセプトごとにカスタマイズされたLLMを利⽤するサービスが増えていく

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

© NTT Communications Corporation All Rights Reserved. 72 AIによって実現する次世代コミュニケーション LLMの速度の課題が解消されたら次の課題は？ユーザーとLLMを繋げる通信部分が課題になりうる現在の仕組みでは、録⾳したボイスメモをやりとりしているようなものより⾼速化するためにはリアルタイムに⾳声をやりとりする必要があるユースケース1: LLMとリアルタイムに対話をする

Slide 73

Slide 73 text

© NTT Communications Corporation All Rights Reserved. 73 AIによって実現する次世代コミュニケーション LLMの速度の課題が解消されたら次の課題は？ユーザーとLLMを繋げる通信部分が課題になりうる現在の仕組みでは、録⾳したボイスメモをやりとりしているようなものより⾼速化するためにはリアルタイムに⾳声をやりとりする必要があるこれを実現して初めて、⼈と⼈が喋るようなUXで、LLMとコミュニケーションができるようになるユースケース1: LLMとリアルタイムに対話をする

Slide 74

Slide 74 text

Slide 75

Slide 75 text

© NTT Communications Corporation All Rights Reserved. 75 AIによって実現する次世代コミュニケーション出典: LiveKit https://blog.livekit.io/meet-kitt/ WebRTC でChatGPT と対話するアプリケーション LiveKitがChatGPTと対話するアプリケーションを公開ユースケース1: LLMとリアルタイムに対話をする

Slide 76

Slide 76 text

Slide 77

Slide 77 text

© NTT Communications Corporation All Rights Reserved. 77 AIによって実現する次世代コミュニケーション LiveKitがChatGPTと対話するアプリケーションを公開 OpenAIも、ChatGPT-VoiceのUX向上のために WebRTC技術者を採⽤しているユースケース1: LLMとリアルタイムに対話をする https://openai.com/careers/real-time-communications-engineer/ より引⽤

Slide 78

Slide 78 text

Slide 79

Slide 79 text

© NTT Communications Corporation All Rights Reserved. 79 AIによって実現する次世代コミュニケーション取り組む内容として以下を挙げている 1. AIとRTCを統合する技術を⾰新し、モデル操作と I/O配信の遅延を最⼩限に抑えます。ユースケース1: LLMとリアルタイムに対話をする https://openai.com/careers/real-time-communications-engineer/ より引⽤

Slide 80

Slide 80 text

© NTT Communications Corporation All Rights Reserved. 80 AIによって実現する次世代コミュニケーションユースケース1: LLMとリアルタイムに対話をする取り組む内容として以下を挙げている 1. AIとRTCを統合する技術を⾰新し、モデル操作と I/O配信の遅延を最⼩限に抑えます。 2. ユーザーとモデル間のオーディオとビデオの⼊出⼒をストリーミングするための新しい標準を確⽴する。 https://openai.com/careers/real-time-communications-engineer/ より引⽤

Slide 81

Slide 81 text

© NTT Communications Corporation All Rights Reserved. 81 AIによって実現する次世代コミュニケーションユースケース1: LLMとリアルタイムに対話をする取り組む内容として以下を挙げている 1. AIとRTCを統合する技術を⾰新し、モデル操作と I/O配信の遅延を最⼩限に抑えます。 2. ユーザーとモデル間のオーディオとビデオの⼊出⼒をストリーミングするための新しい標準を確⽴する。 3.製品チームと緊密に連携して、API と ChatGPT の新しいリアルタイム機能を開発します。 https://openai.com/careers/real-time-communications-engineer/ より引⽤

Slide 82

Slide 82 text

Slide 83

Slide 83 text

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Slide 86

Slide 86 text

Slide 87

Slide 87 text

Slide 88

Slide 88 text

Slide 89

Slide 89 text

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Slide 92

Slide 92 text

© NTT Communications Corporation All Rights Reserved. 92 AIによって実現する次世代コミュニケーション WebRTCは、デバイスを問わず、映像・⾳声通話ができるのがウリ映像は30fpsにもなるつまりAIも1秒間に30枚処理できる速度が求められるこれに⾳声のAI処理も加わる更に、サーバー側でAI処理をすると通信遅延が発⽣するためローカルCPUでAIを動かしたいユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

Slide 93

Slide 93 text

© NTT Communications Corporation All Rights Reserved. 93 AIによって実現する次世代コミュニケーション WebRTCは、デバイスを問わず、映像・⾳声通話ができるのがウリ映像は30fpsにもなるつまりAIも1秒間に30枚処理できる速度が求められるこれに⾳声のAI処理も加わる更に、サーバー側でAI処理をすると通信遅延が発⽣するためローカルCPUでAIを動かしたい特定の⽤途に特化した超軽量なAIが求められるユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

Slide 94

Slide 94 text

© NTT Communications Corporation All Rights Reserved. 94 AIによって実現する次世代コミュニケーション WebRTCは、デバイスを問わず、映像・⾳声通話ができるのがウリ映像は30fpsにもなるつまりAIも1秒間に30枚処理できる速度が求められるこれに⾳声のAI処理も加わる更に、サーバー側でAI処理をすると通信遅延が発⽣するためローカルCPUでAIを動かしたい特定の⽤途に特化した超軽量なAIが求められるこういったケースに対応するためにも、WebブラウザはWebAssemblyのサポートがされているユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

Slide 95

Slide 95 text

Slide 96

Slide 96 text

Slide 97

Slide 97 text

Slide 98

Slide 98 text

Slide 99

Slide 99 text

© NTT Communications Corporation All Rights Reserved. 99 WebAssembly(WASM)とは W3Cが2019年に標準化したブラウザで動作する第4のフォーマット C++, Rustなどの⾔語で実装されたコードをブラウザで動かすための機能暗号処理やAI処理は⾮常に重い処理となるためJavaScriptでは限界がある⾼度なAI処理を動かすための機能として、WebRTC界隈では重宝されている

Slide 100

Slide 100 text

Slide 101

Slide 101 text

Slide 102

Slide 102 text

Slide 103

Slide 103 text

© NTT Communications Corporation All Rights Reserved. 103 AIによって実現する次世代コミュニケーション AIによる加⼯・解析機能は幅広い適⽤が予想される 1. Web会議ツールで使われる仮想背景・背景ぼかし 2. Web会議ツールで使われるノイズキャンセリング 3. ⾳声や映像を解析してMTGや商談の質を解析ユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する出典: EnableX https://www.enablex.io/hire/

Slide 104

Slide 104 text

© NTT Communications Corporation All Rights Reserved. 104 AIによって実現する次世代コミュニケーション AIによる加⼯・解析機能は幅広い適⽤が予想される 1. Web会議ツールで使われる仮想背景・背景ぼかし 2. Web会議ツールで使われるノイズキャンセリング 3. ⾳声や映像を解析してMTGや商談の質を解析 4. ⾳声を書き起こして議事録やカルテを⾃動⽣成ユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する出典: Daily.co https://www.daily.co/use-cases/telehealth/

Slide 105

Slide 105 text

© NTT Communications Corporation All Rights Reserved. 105 AIによって実現する次世代コミュニケーション AIによる加⼯・解析機能は幅広い適⽤が予想される 1. Web会議ツールで使われる仮想背景・背景ぼかし 2. Web会議ツールで使われるノイズキャンセリング 3. ⾳声や映像を解析してMTGや商談の質を解析 4. ⾳声を書き起こして議事録やカルテを⾃動⽣成 5. ⾳声・テキスト・⼿話を相互に翻訳ユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

Slide 106

Slide 106 text

Slide 107

Slide 107 text

Slide 108

Slide 108 text

Slide 109

Slide 109 text

Slide 110

Slide 110 text

Slide 111

Slide 111 text

© NTT Communications Corporation All Rights Reserved. 111 SkyWayにおけるAIの取り組み AI技術の調査検証 • 海外を含めたAI×WebRTCの事例調査 • 感情分析AIの技術検証 • ⾔語⽣成AI(ChatGPT)を利⽤したリアルタイム回答Botの技術検証 • 画像⽣成AI(Stable Diffusion)を利⽤したリアルタイム映像⽣成の技術検証

Slide 112

Slide 112 text

© NTT Communications Corporation All Rights Reserved. 112 SkyWayにおけるAIの取り組み AI技術の調査検証 • 海外を含めたAI×WebRTCの事例調査 • 感情分析AIの技術検証 • ⾔語⽣成AI(ChatGPT)を利⽤したリアルタイム回答Botの技術検証 • 画像⽣成AI(Stable Diffusion)を利⽤したリアルタイム映像⽣成の技術検証 WebRTCプラットフォームとしての連携機能も検討

Slide 113

Slide 113 text

Slide 114

Slide 114 text

Slide 115

Slide 115 text

Slide 116

Slide 116 text

Slide 117

Slide 117 text

Slide 118

Slide 118 text

© NTT Communications Corporation All Rights Reserved. 118 まとめとご提案まとめ • AI・WebRTCの市場規模は拡⼤中 • AI・WebRTCの組み合わせが技術の進歩によって可能に • AI・WebRTCの組み合わせによってコミュニケーションは進化する従来のコミュニケーションサービスでは実現できなかったUXの向上や⽣産性の向上が実現コミュニケーションサービスの差別化はAIの応⽤によって⾏われる

Slide 119

Slide 119 text

Slide 120

Slide 120 text