20241218_XRミーティング

Slide 1

Slide 1 text

20241218_XRミーティング Whisper API の Text to speech と Meta Quest 3 の連携で声が語りかけてくる仕組みができた話ワンフットシーバス田中正吾

Slide 2

Slide 2 text

私の話はスライドを後ほど共有します。話す内容に注力いただいて大丈夫です！

Slide 3

Slide 3 text

10 分くらいで話します！

Slide 4

Slide 4 text

田中正吾（たなかせいご）屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を中心にインタラクティブコンテンツを主に行い現在に至る。最近ではWEBフロントエンドをベースにしながらも、情報とインターフェースが合わさるアプローチという視点でIoTやMixed Realityといった技術も取り入れながら活動しています。

Slide 5

Slide 5 text

Whisper API の Text to speech と Meta Quest 3 の連携で声が語りかけてくる仕組み https://x.com/1ft_seabass/status/1868897505876099507

Slide 6

Slide 6 text

ということでライブデモ

Slide 7

Slide 7 text

がんばったところ

Slide 8

Slide 8 text

一番参考になったのははなちるさんの記事！再生させる CreateAudioClip 部分はそのまま参考になったくらい。感謝。 WAV からの音のデータの取り出しは今回の事情に合わせてうまくつないだところは自分でがんばりました～ https://www.hanachiru-blog.com/entry/2022/08/01/120000

Slide 9

Slide 9 text

さまざまなエラーに遭遇したけど ChatGPT とディスカッションして突破できたこれは今回特有の事情という感じなので、記事はめっちゃ助かってます！

Slide 10

Slide 10 text

データが不正みたいな話もでるけど私はそれは違う気がするなあという会話発想の視野が広がったりヒントがあればいいよね

Slide 11

Slide 11 text

こんな話とかもありましたね地道なデータチェックとか

Slide 12

Slide 12 text

ナレッジもまとめました https://www.1ft-seabass.jp/memo/2024/12/18/whisper-api-text-to-speech-getting-wav-data-play-in-unity/

Slide 13

Slide 13 text

➔ いままで録音して WAV データを送るのはできていたけど、WAV データを XR 内で再生するのができた！ ➔ Whisper API わりと日本語も良くしゃべってくれる。まるで語りかけてくるような面白さがあるので、他にもいろいろと使えそう！ ➔ 一度やってみないと分からないことは多くうまく実装できた時はやっぱりうれしい！ ➔ 声をつくるサービスは色々あるので他にもつなぎたい！ ➔ ひきつづき語りかけてくる仕組みも磨いていきたい！まとめ