AI×WebRTCで実現する新時代のコミュニケーションのカタチこれからのビデオ・音声通話はどう変わる？/ The Future of Communication: AI and WebRTC Transforming Video and Voice Calls How Will Video and Voice Calls Evolve in the Coming Era?

© NTT Communications Corporation All Rights Reserved. 1 2024年6⽉13⽇ NTTコミュニケーションズ株式会社
SKYWAY推進室これからのビデオ・⾳声通話はどう変わる？ AI×WebRTCで実現する新時代のコミュニケーションのカタチ

© NTT Communications Corporation All Rights Reserved. 2 早稲⽥⼤学にて⼈⼯知能(対話システム)の研究 SkyWayにDevOpsエンジニアとして参画
WebRTC R&Dチームの⽴ち上げ WebRTC R&Dチームの拡⼤・リーダー次世代のWebRTCに関する技術調査 SkyWay推進室 WebRTC Researcher 内⽥裕貴 2017.03 2019.04 2020.09 2022.11 2024.01 WebRTC歴: 5年over WebRTC Research歴: 3年over 機械学習エンジニア歴: 7年over Podcast出演: fukabori.rm #43 (2021) イベント登壇: Web24プロトコルセッション (2021) Yuki Uchida X: @yuki_wtz

© NTT Communications Corporation All Rights Reserved. 3 WebRTCのご紹介 AIの現在地
AIよって実現する次世代コミュニケーション SkyWayにおける AIの取り組みまとめとご提案 4 23 47 104 111 ⽬次

© NTT Communications Corporation All Rights Reserved. 6 WebRTCの紹介 Zoom
Microsoft Teams Google Meet Cisco WebEx Skype Discord 普段の⽣活で、映像・⾳声通話使ってますか？

© NTT Communications Corporation All Rights Reserved. 7 WebRTCの紹介 Zoom
Microsoft Teams Google Meet Cisco WebEx Skype Discord WebRTCを活⽤している普段の⽣活で、映像・⾳声通話使ってますか？

© NTT Communications Corporation All Rights Reserved. 8 WebRTCの紹介 WebRTCの歴史
2011 WebRTCの技術仕様が提案

2011 2017 WebRTCの技術仕様が提案ブラウザサポート完了

2011 2017 2020 WebRTCの技術仕様が提案ブラウザサポート完了コロナ禍により利⽤者数増

2011 2017 2020 2021 WebRTCの技術仕様が提案ブラウザサポート完了コロナ禍により利⽤者数増 IETFにより標準化

2011 2017 2020 2021 WebRTCの技術仕様が提案ブラウザサポート完了コロナ禍により利⽤者数増 SkyWayは10年以上に渡り、技術仕様策定の協⼒やWebRTCプラットフォームの提供 IETFにより標準化

© NTT Communications Corporation All Rights Reserved. 14 WebRTCの紹介出典：Global
Industry Analysts, Inc.「Webリアルタイム通信（WebRTC）の世界市場 2022年に67億⽶ドルと推計されたWebリアルタイム通信（WebRTC）の世界市場は 2030年には817億⽶ドルに達すると予測される WebRTCの市場

Industry Analysts, Inc.「Webリアルタイム通信（WebRTC）の世界市場 2022年に67億⽶ドルと推計されたWebリアルタイム通信（WebRTC）の世界市場は 2030年には817億⽶ドルに達すると予測される 2022~2030年成⻑⾒込 12.2 倍 WebRTCの市場

Industry Analysts, Inc.「Webリアルタイム通信（WebRTC）の世界市場 2022~2030年成⻑⾒込 12.2 倍 2022年に67億⽶ドルと推計されたWebリアルタイム通信（WebRTC）の世界市場は 2030年には817億⽶ドルに達すると予測される 2022~2030年年成⻑率(CAGR) 36.7 % WebRTCの市場

© NTT Communications Corporation All Rights Reserved. 18 WebRTCの紹介オンライン商談システム市場規模推移および予測
（2019〜2025年度予測）出典：ITR「ITR Marhet View：SFA／統合型マーケティング⽀援市場2022」※ベンダーの売上⾦額を対象とし、3⽉期ベースで換算。2021年度以降は予測値。 0 10 20 30 40 50 60 70 2019 2020 2021 2022 2023 2024 2025 （年度）（単位：億円） 13 26 33 40 48 55 62 オンライン商談システム市場規模

© NTT Communications Corporation All Rights Reserved. 19 WebRTCの紹介 2019~2025年
成⻑⾒込 4.7 倍オンライン商談システム市場規模推移および予測（2019〜2025年度予測）出典：ITR「ITR Marhet View：SFA／統合型マーケティング⽀援市場2022」※ベンダーの売上⾦額を対象とし、3⽉期ベースで換算。2021年度以降は予測値。 0 10 20 30 40 50 60 70 2019 2020 2021 2022 2023 2024 2025 （年度）（単位：億円） 13 26 33 40 48 55 62 オンライン商談システム市場規模

© NTT Communications Corporation All Rights Reserved. 20 WebRTCの紹介今後もオンライン接客・
商談システムを導⼊する企業が増えていくと予測 2019~2025年成⻑⾒込 4.7 倍オンライン商談システム市場規模推移および予測（2019〜2025年度予測）出典：ITR「ITR Marhet View：SFA／統合型マーケティング⽀援市場2022」※ベンダーの売上⾦額を対象とし、3⽉期ベースで換算。2021年度以降は予測値。 0 10 20 30 40 50 60 70 2019 2020 2021 2022 2023 2024 2025 （年度）（単位：億円） 13 26 33 40 48 55 62 オンライン商談システム市場規模

2021年にIETFにより標準化が完了

2021年にIETFにより標準化が完了 → WebRTCを「より良くするためにどうするか」に議論が集中

2021年にIETFにより標準化が完了 → WebRTCを「より良くするためにどうするか」に議論が集中 WebRTCとAIの連携に注⽬が集まる

2021年にIETFにより標準化が完了 → WebRTCを「より良くするためにどうするか」に議論が集中 WebRTCとAIの連携に注⽬が集まる以前のAIは処理速度に課題

1950 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界

1950 1990 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界

1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム

1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton)

1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝

1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow)

1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow) 2017: DeepL(翻訳)

1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow) 2017: DeepL(翻訳) 2022: ChatGPT(⾔語⽣成)/Stable Diffusion(画像⽣成)

1950 1990 2010 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow) 2017: DeepL(翻訳) 2022: ChatGPT(⾔語⽣成)/Stable Diffusion(画像⽣成) 2024: Sora(映像⽣成)

1950 1990 第⼀次AIブーム⼈⼯知能という単語の登場コンピュータの性能限界第⼆次AIブームエキスパートシステムの研究データ量の限界第三次AIブーム 2006: 深層学習(by Geoffrey Everest Hinton) 2012: AlexNetが画像認識コンペで優勝 2014: GAN(by Ian goodfellow) 2017: DeepL(翻訳) 2022: ChatGPT(⾔語⽣成)/Stable Diffusion(画像⽣成) 2024: Sora(映像⽣成) さらなる性能向上と速度向上へ… 2010

© NTT Communications Corporation All Rights Reserved. 38 AIの現在地 AIのパフォーマンス向上の具体例1:
Groq

Groq １秒間に500⽂字テキスト⽣成ができるGroqが登場(ChatGPT-4の5~10倍)

Groq １秒間に500⽂字テキスト⽣成ができるGroqが登場(ChatGPT-4の5~10倍) GPUではなくLLM専⽤のLanguage Processing Unitを開発することで、10xの速度を実現

SDXL Lightning

SDXL Lightning １秒間に10枚の画像を⽣成できるSDXL Lightningの登場

SDXL Lightning １秒間に10枚の画像を⽣成できるSDXL Lightningの登場画像を⽣成するためのステップ数を削減することで⾼速化を実現

SDXL Lightning １秒間に10枚の画像を⽣成できるSDXL Lightningの登場画像を⽣成するためのステップ数を削減することで⾼速化を実現他にも、⽣成モデル⾃体の最適化⼿法など、さまざまなアプローチが存在

ultravox

ultravox ⼈間の⾳声を理解できるマルチモーダルLLM ultravox の登場

ultravox ⼈間の⾳声を理解できるマルチモーダルLLM ultravox の登場従来の仕組みでは、⾳声→⽂字→LLMと2段階の処理を⾏う必要があったが、⾳声→LLMとなり更に⾼速化

© NTT Communications Corporation All Rights Reserved. 51 AIによって実現する次世代コミュニケーション
FUTURE

© NTT Communications Corporation All Rights Reserved. 52 AIによって実現する次世代コミュニケーションユースケース1:
LLMとリアルタイムに対話をする

LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている

LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている 1. 社内⽂書を学習しリアルタイムに回答する対話Bot

LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている 1. 社内⽂書を学習しリアルタイムに回答する対話Bot 2. 社内システムと連携した旅⾏代理店Bot

LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている 1. 社内⽂書を学習しリアルタイムに回答する対話Bot 2. 社内システムと連携した旅⾏代理店Bot 3. ファシリテーションを⾏なってくれる議事進⾏Bot

LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている 1. 社内⽂書を学習しリアルタイムに回答する対話Bot 2. 社内システムと連携した旅⾏代理店Bot 3. ファシリテーションを⾏なってくれる議事進⾏Bot 4. 採⽤サポートBot

LLMとリアルタイムに対話をする Web会議や電話対応などで幅広い活躍が期待されている 1. 社内⽂書を学習しリアルタイムに回答する対話Bot 2. 社内システムと連携した旅⾏代理店Bot 3. ファシリテーションを⾏なってくれる議事進⾏Bot 4. 採⽤サポートBot これらの例はtoB ユースケースの極⼀部

© NTT Communications Corporation All Rights Reserved. 60 オンラインコミュニケーション×⽣成AI ⽣成AIは幅広い対応が期待できユースケースも多様
オンラインコミュニケーションとも相性が良い

© NTT Communications Corporation All Rights Reserved. 61 オンラインコミュニケーション×⽣成AI ⽣成AIは幅広い対応が期待できユースケースも多様
オンラインコミュニケーションとも相性が良い従来の AI （⽤途特化型）商品名や商品コードなど商品名やエラーコードなど⽬的地名称や住所など価格、販売店、在庫情報対応策修理窓⼝情報最短ルートや旅費〇〇という商品について教えて〇〇が壊れて動きません⼤⼿町へ⾏きたい観光名所も教えて価格、販売店、在庫情報、その他商品に関連した情報は〇〇です。故障の確認点は〇〇です。エラーコードは何ですか？対応策は〇〇です。最短ルートや旅費は〇〇、観光名所は〇〇です。⽣成 AI 製品問合せカスタマーサポート道案内従来の AI（⽤途特化型）⽣成 AI

LLMとリアルタイムに対話をする toC ユースケースも様々な活⽤⽅法が予想される

LLMとリアルタイムに対話をする toC ユースケースも様々な活⽤⽅法が予想される 1. AI英会話(ELSA Speak)

LLMとリアルタイムに対話をする toC ユースケースも様々な活⽤⽅法が予想される 1. AI英会話(ELSA Speak) 2. おしゃべりAI(Cotomo)

LLMとリアルタイムに対話をする toC ユースケースも様々な活⽤⽅法が予想される 1. AI英会話(ELSA Speak) 2. おしゃべりAI(Cotomo) 3. AIキャラクターとの交流(ai.town)

LLMとリアルタイムに対話をする toC ユースケースも様々な活⽤⽅法が予想される 1. AI英会話(ELSA Speak) 2. おしゃべりAI(Cotomo) 3. AIキャラクターとの交流(ai.town) コンセプトごとにカスタマイズされたLLMを利⽤するサービスが増えていく

© NTT Communications Corporation All Rights Reserved. 67 AIによって実現する次世代コミュニケーション従来のシステムでは、LLMのレスポンス速度が課題となっていた
ユースケース1: LLMとリアルタイムに対話をする

© NTT Communications Corporation All Rights Reserved. 68 AIによって実現する次世代コミュニケーション従来のシステムでは、LLMのレスポンス速度が課題となっていた
そのためにLLMの⾼速化の研究が進んできたユースケース1: LLMとリアルタイムに対話をする

ユーザーとLLMを繋げる通信部分が課題になりうるユースケース1: LLMとリアルタイムに対話をする

ユーザーとLLMを繋げる通信部分が課題になりうる現在の仕組みでは、録⾳したボイスメモをやりとりしているようなものユースケース1: LLMとリアルタイムに対話をする

ユーザーとLLMを繋げる通信部分が課題になりうる現在の仕組みでは、録⾳したボイスメモをやりとりしているようなものより⾼速化するためにはリアルタイムに⾳声をやりとりする必要があるユースケース1: LLMとリアルタイムに対話をする

ユーザーとLLMを繋げる通信部分が課題になりうる現在の仕組みでは、録⾳したボイスメモをやりとりしているようなものより⾼速化するためにはリアルタイムに⾳声をやりとりする必要があるこれを実現して初めて、⼈と⼈が喋るようなUXで、LLMとコミュニケーションができるようになるユースケース1: LLMとリアルタイムに対話をする

© NTT Communications Corporation All Rights Reserved. 75 AIによって実現する次世代コミュニケーション出典:
LiveKit https://blog.livekit.io/meet-kitt/ WebRTC でChatGPT と対話するアプリケーション LiveKitがChatGPTと対話するアプリケーションを公開ユースケース1: LLMとリアルタイムに対話をする

OpenAIも、ChatGPT-VoiceのUX向上のために WebRTC技術者を採⽤しているユースケース1: LLMとリアルタイムに対話をする

OpenAIも、ChatGPT-VoiceのUX向上のために WebRTC技術者を採⽤しているユースケース1: LLMとリアルタイムに対話をする https://openai.com/careers/real-time-communications-engineer/ より引⽤

© NTT Communications Corporation All Rights Reserved. 78 AIによって実現する次世代コミュニケーション取り組む内容として以下を挙げている
ユースケース1: LLMとリアルタイムに対話をする https://openai.com/careers/real-time-communications-engineer/ より引⽤

© NTT Communications Corporation All Rights Reserved. 79 AIによって実現する次世代コミュニケーション取り組む内容として以下を挙げている
1. AIとRTCを統合する技術を⾰新し、モデル操作と I/O配信の遅延を最⼩限に抑えます。ユースケース1: LLMとリアルタイムに対話をする https://openai.com/careers/real-time-communications-engineer/ より引⽤

LLMとリアルタイムに対話をする取り組む内容として以下を挙げている 1. AIとRTCを統合する技術を⾰新し、モデル操作と I/O配信の遅延を最⼩限に抑えます。 2. ユーザーとモデル間のオーディオとビデオの⼊出⼒をストリーミングするための新しい標準を確⽴する。 https://openai.com/careers/real-time-communications-engineer/ より引⽤

LLMとリアルタイムに対話をする取り組む内容として以下を挙げている 1. AIとRTCを統合する技術を⾰新し、モデル操作と I/O配信の遅延を最⼩限に抑えます。 2. ユーザーとモデル間のオーディオとビデオの⼊出⼒をストリーミングするための新しい標準を確⽴する。 3.製品チームと緊密に連携して、API と ChatGPT の新しいリアルタイム機能を開発します。 https://openai.com/careers/real-time-communications-engineer/ より引⽤

映像や⾳声をリアルタイムに加⼯・解析する

なぜか？ユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

なぜか？精度・汎⽤性と速度はトレードオフだからユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

映像は30fpsにもなるユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

映像は30fpsにもなるつまりAIも1秒間に30枚処理できる速度が求められるユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

映像は30fpsにもなるつまりAIも1秒間に30枚処理できる速度が求められるこれに⾳声のAI処理も加わるユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

映像は30fpsにもなるつまりAIも1秒間に30枚処理できる速度が求められるこれに⾳声のAI処理も加わる更に、サーバー側でAI処理をすると通信遅延が発⽣するためローカルCPUでAIを動かしたいユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

映像は30fpsにもなるつまりAIも1秒間に30枚処理できる速度が求められるこれに⾳声のAI処理も加わる更に、サーバー側でAI処理をすると通信遅延が発⽣するためローカルCPUでAIを動かしたい特定の⽤途に特化した超軽量なAIが求められるユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

映像は30fpsにもなるつまりAIも1秒間に30枚処理できる速度が求められるこれに⾳声のAI処理も加わる更に、サーバー側でAI処理をすると通信遅延が発⽣するためローカルCPUでAIを動かしたい特定の⽤途に特化した超軽量なAIが求められるこういったケースに対応するためにも、WebブラウザはWebAssemblyのサポートがされているユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

C++, Rustなどの⾔語で実装されたコードをブラウザで動かすための機能

C++, Rustなどの⾔語で実装されたコードをブラウザで動かすための機能暗号処理やAI処理は⾮常に重い処理となるためJavaScriptでは限界がある

C++, Rustなどの⾔語で実装されたコードをブラウザで動かすための機能暗号処理やAI処理は⾮常に重い処理となるためJavaScriptでは限界がある⾼度なAI処理を動かすための機能として、WebRTC界隈では重宝されている

1. Web会議ツールで使われる仮想背景・背景ぼかしユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

1. Web会議ツールで使われる仮想背景・背景ぼかし 2. Web会議ツールで使われるノイズキャンセリングユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

1. Web会議ツールで使われる仮想背景・背景ぼかし 2. Web会議ツールで使われるノイズキャンセリング 3. ⾳声や映像を解析してMTGや商談の質を解析ユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する出典: EnableX https://www.enablex.io/hire/

1. Web会議ツールで使われる仮想背景・背景ぼかし 2. Web会議ツールで使われるノイズキャンセリング 3. ⾳声や映像を解析してMTGや商談の質を解析 4. ⾳声を書き起こして議事録やカルテを⾃動⽣成ユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する出典: Daily.co https://www.daily.co/use-cases/telehealth/

1. Web会議ツールで使われる仮想背景・背景ぼかし 2. Web会議ツールで使われるノイズキャンセリング 3. ⾳声や映像を解析してMTGや商談の質を解析 4. ⾳声を書き起こして議事録やカルテを⾃動⽣成 5. ⾳声・テキスト・⼿話を相互に翻訳ユースケース2: 映像や⾳声をリアルタイムに加⼯・解析する

• 海外を含めたAI×WebRTCの事例調査

• 海外を含めたAI×WebRTCの事例調査 • 感情分析AIの技術検証

• 海外を含めたAI×WebRTCの事例調査 • 感情分析AIの技術検証 • ⾔語⽣成AI(ChatGPT)を利⽤したリアルタイム回答Botの技術検証

• 海外を含めたAI×WebRTCの事例調査 • 感情分析AIの技術検証 • ⾔語⽣成AI(ChatGPT)を利⽤したリアルタイム回答Botの技術検証 • 画像⽣成AI(Stable Diffusion)を利⽤したリアルタイム映像⽣成の技術検証

• 海外を含めたAI×WebRTCの事例調査 • 感情分析AIの技術検証 • ⾔語⽣成AI(ChatGPT)を利⽤したリアルタイム回答Botの技術検証 • 画像⽣成AI(Stable Diffusion)を利⽤したリアルタイム映像⽣成の技術検証 WebRTCプラットフォームとしての連携機能も検討

• AI・WebRTCの市場規模は拡⼤中

• AI・WebRTCの市場規模は拡⼤中 • AI・WebRTCの組み合わせが技術の進歩によって可能に

• AI・WebRTCの市場規模は拡⼤中 • AI・WebRTCの組み合わせが技術の進歩によって可能に • AI・WebRTCの組み合わせによってコミュニケーションは進化する

• AI・WebRTCの市場規模は拡⼤中 • AI・WebRTCの組み合わせが技術の進歩によって可能に • AI・WebRTCの組み合わせによってコミュニケーションは進化する従来のコミュニケーションサービスでは実現できなかったUXの向上や⽣産性の向上が実現コミュニケーションサービスの差別化はAIの応⽤によって⾏われる

AI×WebRTCで実現する新時代のコミュニケーションのカタチ これからのビデオ・音声通話はどう変わる？/ The Future of Communication: AI and WebRTC Transforming Video and Voice Calls How Will Video and Voice Calls Evolve in the Coming Era?

AI×WebRTCで実現する新時代のコミュニケーションのカタチ これからのビデオ・音声通話はどう変わる？/ The Future of Communication: AI and WebRTC Transforming Video and Voice Calls How Will Video and Voice Calls Evolve in the Coming Era?

More Decks by NTT Communications

Other Decks in Technology

Featured

Transcript

AI×WebRTCで実現する新時代のコミュニケーションのカタチこれからのビデオ・音声通話はどう変わる？/ The Future of Communication: AI and WebRTC Transforming Video and Voice Calls How Will Video and Voice Calls Evolve in the Coming Era?

AI×WebRTCで実現する新時代のコミュニケーションのカタチこれからのビデオ・音声通話はどう変わる？/ The Future of Communication: AI and WebRTC Transforming Video and Voice Calls How Will Video and Voice Calls Evolve in the Coming Era?