全肯定する理想の妹をるきぐらで召喚する方法

How to summon a totally affirming ideal sister in LookingGlass

Transcript

1. 全肯定する理想の妹を るきぐらで召喚する方法
2. 目次 自己紹介 初歩的知見 みくちゅあがーでん ドコモAIエージェントAPI 全肯定する理想の妹 作成方法 まとめ・最後に るきぐらの知見は少な目...
3. 自己紹介 第1回 LookingGlassハッカソン 優勝チーム所属 第2回 LookingGlassハッカソン 優勝チーム所属 JapanVRFest銀座VR3　 　るきぐらを使用した「#みくちゅあがーでん」展示 保有るきぐら　Portrait x 1 Standard x 2　Large x 1（チーム共有） シロフード @sirohood_exp とある企業のVR事業部に所属
4. 初歩的知見 申し訳程度に初歩的な知見 るきぐらの(展示向け)知見 「LookingGlassコンテンツについて」 https://sirohood.exp.jp/20191111-2959/ 撮影時に映り込みを無くすためには 直径15cmの回転台があると LookingGlassPortraitにちょうどいい ・周りを暗くする ・背景を設定する
5. LookingGlassで 何を表示したい？
6. おそらく・・・ なんとかboxの 上位版を作りたい 好きなキャラを表示させたい。 会話したい。 触れたい。
7. #みくちゅあがーでん LookingGlassに初音ミクを表示 マイク LeapMotion Airbar LookingGlass Large るきぐらをタッチパネル化（Airbar） 音声認識（Microsoftの音声認識サービス） ハンドトラッキングで 頭を撫でたり・髪を触れる（LeapMotion) ライブモードも実装
8. 問題点 ・認識する単語を増やすたびにコード追加。 ・セリフを増やすたびに音声ファイルを作る。
9. もっと簡単にセリフを追加したい agent craftにログインし会話シナリオを自分で作成 https://agentcraft.sebastien.ai/ 公式のドキュメントがめちゃくちゃ分かりやすい https://docs.sebastien.ai/documents/ 対話型AIサービス　ドコモAIエージェントAPI
10. そんな現代に人類が求めているモノ それは・・・ 全肯定で話を聞いてくれる 理想の妹！ とは言えミクさんの声ではない 新しく るきぐらとドコモAIエージェントAPIを使って作れるものを考える 自粛疲れ ソーシャルディスタンス・リモートワークなどで コミュニケーション不足が深刻
11. https://youtu.be/q1vCXfdgvd8
12. 救われる～～～～！！
13. ドコモAIエージェントAPIの良いところ すごい！ 対話サービスを簡単に実装できる 音声認識 返答するセリフを合成音声で返してくれる 音声種類は50種類以上 単語のマッチング条件を 「部分一致・読み一致・完全一致」など選ぶことができ あいまいな表現でも反応してくれる。 返答セリフはjson形式でメタ情報を追加できる 表情とアニメーションさえプログラム側で準備しておけば セリフ作成だけでキャラが動いてくれるようになる ユーザー名の登録などもできる
14. 反応する単語 返答セリフ 一致パターン
15. 画面上で 返答テストが可能
16. { "systemText": { "expression": "よしよしー、がんばったね", "utterance": "よしよしー、がんばったね" }, "talkend": true, "command": { "version": "sebastien-1.0.0", "type": "nlu_result", "speaker_params": { "speaker_id": "jpn_JP-F-S0105-T001-E01-SR0", "style_id": "jpn_JP-F-S0105-T001-E01", "voice_type": 1.03, "power_rate": 2.5, "intonation": 11, "pitch": 11 }, "option": { "switchAgent": { "agentId": "3913_4001_main", "agentType": "1" } }, "rule_id": "15058", "Face": "よろこび", "VroidAnime": "すごい" }, "dialogStatus": { "commandId": "00000000000", "task": { "taskId": "00000000" }, "loopCount": "0" }, "serverSendTime": "2021-06-11 04:45:23" } 返答時のjsonも 確認が可能 json形式で メタ情報を 追加可能
17. ドコモAIエージェントAPIは るきぐらで表示したキャラクターに対話機能を持たせるのに便利 まとめ jsonから情報取り出してUnity側で受け取る仕組みも準備されているし その辺までチュートリアルに書かれている。 えらい！ 今回は紹介程度ですが 後日制作ログとしてもう少し詳しい内容をブログにまとめる予定 興味あるひとは シロフード @sirohood_exp をフォローお願いします。
18. 自分だけの 最強るきぐらコンテンツ を作ろう！ るきぐらを3Dフォトフレームにするのはもったいない！ 最後に 2日で資料つくれて えらいね お兄ちゃん！ いろんなツールや デバイスを組み合わせて