2023夏NAHハッカソン_音声ケビンチーム

Transcript

1. 音声ケビンチーム 〜声で全ての家電を操作する〜
2. スマートホーム API 繋ぎこみ インタフェース繋ぎこ み(ChatGPT API部 分) Special Thanks 音声認識
3. 音声で家電を操作する • リモコンに触れずに操作したい ◦ ベッド横にタブレットがあるので寝転がりながら 操作ができない • たまに AI と会話したい時もある
4. 今回の位置づけ • UXのPoC • ありものの技術のつなぎ込みに留める • ↑の構成での限界値、改善点と改善可能性をよりク リアにする
5. 構成 App Web Speech API (SpeechRecognition) カーテン開けて(音声) 呼ぶべきAPI(の呼び出し関数) を判断 音声をテキスト化 function: operateCurtain params: {is_open: true} スマートホームAPI カーテン開けました(音声) テキストを音声化
6. ChatVRMをフロント部分に利用
7. デモ
8. UIデモ
9. 実機デモ
10. 実機デモ動画
11. ChatGPT(function calling)を利用した アプリケーションについての所感 入力側の多言語対応が容易 会話の文脈からの判断力が高い
12. 課題1: 確率的出力をする挙動をどう制御するか 対応策 • 最終実行前にユーザの同意を取るフロー？ • プログラムロジック側での制御？
13. 課題2: レスポンスのパフォーマンス • 発話終了から機器の動作まで7〜9秒程度 ◦ ChatGPT APIの呼び出しに3〜5秒 対応策 • 相槌、インタラクションのアニメーションによる心理的な待ち時間の軽減 • GPT3 turboの利用(ただしfuntion callingの精度↓) • ChatGPT Steam APIの利用 • Azure環境でのChatGPT AI API利用 • ローカルLLMでのfunction calling • そもそもLLMに依存しない？