Hey、Polly。大事な話があるんだけど

Transcript

1. Copyright © SCSK Corporation Hey、Polly。 大事な話があるんだけど・・・ SCSK株式会社 クラウドサービス事業本部 クラウドサービス第二部 第二課 2025年1月28日 間世田 秀
2. 本日のテーマ Amazon Pollyさんを召喚しよう！ Amazon Polly
3. 背景 27歳、一人暮らし、深夜、残業中。
4. 背景 ・・・・・・ 27歳、一人暮らし、深夜、残業中。
5. 背景 話相手がほしい 27歳、一人暮らし、深夜、残業中。
6. 背景 そうだ、Pollyさんに 話し相手になってもらおう 27歳、一人暮らし、深夜、残業中。
7. 召喚方法 Amazon Bedrock(Amazon Nova), Amazon Pollyを用いて、発話動画を生成する 相談事 擬人化 回答生成 回答読み上げ 発話動画生成 ゴール
8. 召喚方法 擬人化 回答生成 回答読み上げ 発話動画生成 Amazon Bedrock 相談事 Amazon Bedrock(Amazon Nova), Amazon Pollyを用いて、発話動画を生成する ゴール
9. 召喚方法 擬人化 回答生成 回答読み上げ 発話動画生成 相談事 Amazon Polly Amazon Bedrock(Amazon Nova), Amazon Pollyを用いて、発話動画を生成する ゴール
10. 召喚方法 擬人化 回答生成 回答読み上げ 発話動画生成 Amazon Bedrock (Amazon Nova) 相談事 Amazon Bedrock(Amazon Nova), Amazon Pollyを用いて、発話動画を生成する ゴール
11. 結論からお伝えすると うまくいかなかった。 擬人化 回答生成 回答読み上げ 発話動画生成 失敗した失敗した失敗した 失敗した失敗した失敗した 失敗した失敗した失敗した
12. 今回のPollyさん 人をつくる Amazon BedrockにAmazon Pollyを擬人化してもらう。 擬人化 回答生成 回答読み上げ 発話動画生成 Amazon Pollyを擬人化して 実行 Amazon Bedrock
13. 言葉をつくる 擬人化 回答生成 回答読み上げ 発話動画生成 Amazon Bedrockに、メンタルサポーターとして会話内容を作成してもらう。 prompt_make_plot = ''' あなたはHumanに寄り添い、的確なアドバイスを行うことができるメンタルサポーターです。 Humanが相談事項を入力するので、相談事項の解決方法を考えてください。 あなたが助言をするときは必ず、相手であるHumanが主役です。 Humanの気持ちが主体になるように心がけます。 Human: {instruction} Assistant: {{''' Human さびしい。 寂しさを感じているのはとてもつらいことだと思います。 まずは、その気持ちを大切にしてください。 寂しさを否定したり抑圧したりするのではなく、その気持ちと向き合うことが大切です。 寂しさの原因を考えてみましょう。コロナの影響で外出を控えていたり、大切な人と会えなかったりしてい ませんか? それとも、以前楽しんでいた趣味ができなくなったことで充実感がなくなっている? Q. A. Amazon Bedrock
14. 声をつくる 擬人化 回答生成 回答読み上げ 発話動画生成 寂しさを感じているのはとてもつらいことだと思います。 まずは、その気持ちを大切にしてください。 寂しさを否定したり抑圧したりするのではなく、その気持ちと向き合うことが大切です。 寂しさの原因を考えてみましょう。コロナの影響で外出を控えていたり、大切な人と会えなかったりしてい ませんか? それとも、以前楽しんでいた趣味ができなくなったことで充実感がなくなっている? Amazon Pollyに、会話内容を読み上げてもらう。 {"time":6,"type":"viseme","value":"s"} {"time":155,"type":"viseme","value":"a"} {"time":217,"type":"viseme","value":"p"} {"time":279,"type":"viseme","value":"i"} {"time":317,"type":"viseme","value":"J"} {"time":389,"type":"viseme","value":"i"} {"time":477,"type":"viseme","value":"s"} {"time":564,"type":"viseme","value":"a"} {"time":727,"type":"viseme","value":"sil"} speech.mp3 speech.marks time:対応する音声ストリームの開始からのタイムスタンプ viseme:単語が作られる基本的な音声の単位である音素 例） さ び し さ sa pi Ji sasil Amazon Polly
15. 動きをつくる 擬人化 回答生成 回答読み上げ 発話動画生成 今回のPollyさん.png + ビゼーム.marksを情報として与えたら、 Amazon Novaが発話動画を作成してくれるのでは？ {"time":6,"type":"viseme","value":"s"} {"time":155,"type":"viseme","value":"a"} {"time":217,"type":"viseme","value":"p"} {"time":279,"type":"viseme","value":"i"} {"time":317,"type":"viseme","value":"J"} {"time":389,"type":"viseme","value":"i"} {"time":477,"type":"viseme","value":"s"} {"time":564,"type":"viseme","value":"a"} {"time":727,"type":"viseme","value":"sil"}
16. 入力と結果 以下のtimestampに従って、visemeが発せられるビデオを作成してください。 timestampの単位は”ms”です。 指定されたタイムスタンプ以外は口を閉じておいてください。 {"time":6,"type":"viseme","value":"s"} {"time":155,"type":"viseme","value":"a"} {"time":217,"type":"viseme","value":"p"} {"time":279,"type":"viseme","value":"i"} {"time":317,"type":"viseme","value":"J"} {"time":389,"type":"viseme","value":"i"} {"time":477,"type":"viseme","value":"s"} {"time":564,"type":"viseme","value":"a"} {"time":727,"type":"viseme","value":"sil"} プロンプト（英語）：
17. 入力と結果 “さ び し さ” ・タイムスタンプ/ビゼーム情報の命令に従っていない ・目が笑っていない ・謎の背景 課題 ※動画
18. 本日のテーマというか、今回のオチ Amazon Pollyさんを召喚しよう！ Amazon Novaで発話動画を作るのは まだ難しいと知った話