ChatGPTによる問い合わせサイトの構築に向けて/Developing a ChatGPT-powered Helpdesk Site

第47回学術情報処理研究集会 2023/9/5,6
＠名古屋工業大学

Transcript

1. ChatGPTによる問い合わせサイトの構築に向けて 広島大学 情報メディア教育研究センター 隅谷 孝洋、鈴木俊哉、Muhammad N.A.M. Anuardi 第27回 学術情報処理研究集会 (CACN2023, 2023/9/5,6 @名古屋工業大学)
2. 問い合わせサービスとChatBot 2 ユーザ ドキュメントサイト 説明文書、動画、スライド、Q&A、チャット helpdesk 問い合わせフォーム、電話、 対面カウンター、eメール ドキュメントサイト 説明文書、動画、スライド、Q&A、チャット 外部情報 ベンダーサイト、他大学、書籍など
3. 問い合わせサービスとChatbot 3 ユーザ ドキュメントサイト 説明文書、動画、スライド、Q&A、チャット helpdesk 問い合わせフォーム、電話、 対面カウンター、eメール ドキュメントサイト 説明文書、動画、スライド、Q&A、チャット 外部情報 ベンダーサイト、他大学、書籍など Chatbot • 自然言語で対応 • 大学独自情報参照 ChatGPTの利用
5. 大学の状況を知らない もっともらしく間違う
6. 大学の独自情報を参照して回答してもらう 6 質問 言語モデル 質問 独自情報を追加した 言語モデル 「関連する」独自情報 質問 言語モデル 通常 (GPT3.5/4.0) Fine Tuning (GPT3.5のみ) Few-shot Learn (GPT3.5/4.0)
7. 7 プロンプト 言語モデル 回答 質問 ユーザの質問 ユーザ APIで 補完要求
8. 8 Fine-tune （事前に一回だけ実施） 独自情報 プロンプト 言語モデル +α 回答 質問 ユーザの質問 ユーザ APIで 補完要求
9. 9 ຒΊࠐΈϕΫ τϧ෇Ճ （事前に一回だけ実施） APIで 補完要求 プロンプト 独自情報検索 関連する独自情報 言語モデル ユーザの質問 独自情報 独自情報 独自情報DB 回答 質問 ユーザ RAG: 　Retrieval 　Augumented 　Generation
10. トークン分割と料金 10 学 生 を m o o d l e コ ー ス に 登 録 し た い 。 E98C B2 文字数：19 トークン数：14 埋め込み表現変換 $0.0001 - Fine-tuning $0.0080 - 補完 入力 出力 　　gpt-4 (gpt-4-0613, 8K)*1 $0.0300 $0.0600 　　gpt-3.5（gpt-3.5-turbo-0613, 4K) $0.0015 $0.0020 　　gpt-3.5（gpt-3.5-turbo-16k-0613, 16K) $0.0030 $0.0040 　　Fine-tuning したモデル (gpt-3.5-turbo-0613 ベース） $0.0120 $0.0160 *1: 32Kモデルは指定できなかった 1Kトークンあたりの料金 https://openai.com/pricingより 2023/09/06
11. 広大のLMS関係の独自情報で試行 ‣ ５０のQ&A ✓ Fine-tuningはQ&Aが扱いやすい ✓ RAGは必ずしもQ&Aでなく、通常文書（を分割したもの）でも可 ‣ https://bit.ly/moodle-qa-trial 11
12. Fine-tuning 2023/8/23 にgpt-3.5-turbo-0613でできるようになった C: もみじリンク Q: もみじリンクとはなんですか？ A: moodleのコースと、もみじ上 の授業科目を紐づけて、もみじの 講義情報のページにコースへのリ ンクを出したり、もみじ上の担当 教員や履修学生をコース参加者と して自動登録する機能です。 12 system: role: content user: もみじリンクとはなんですか？ assistant: moodleのコースと、もみじ上の授業科目を紐 づけて、もみじの講義情報のページにコースへ のリンクを出したり、もみじ上の担当教員や履修 学生をコース参加者として自動登録する機能で す。 50のQ&Aが50行のjsonl形式 約30Ktokens、15分程度 ?
13. Few-shot learn C: もみじリンク Q: もみじリンクとはなんですか？ A: moodleのコースと、もみじ上 の授業科目を紐づけて、もみじの 講義情報のページにコースへのリ ンクを出したり、もみじ上の担当 教員や履修学生をコース参加者と して自動登録する機能です。 13 「Q: .... \n A:....」　の形にして 埋め込みベクトル（1536次元）に 約30Ktokens、40〜50秒程度 ファイルやDBに保存
14. 1536次元…？ 14
15. 「もみじって何？」と聞いてみた 15 model time（秒） tokens charge （円) Answer GPT-3.5 7.6 392 0.1 もみじは、日本の代表的な紅葉の木であり、特にカエデ科の樹木を指します。もみじの 葉は秋になると赤や黄色に色づき、美しい景色を作り出します。日本では、紅葉狩りと して知られる風景観賞の一環としてもみじを楽しむことが一般的です。また、もみじは 日本の文化や伝統にも深く関わっており、絵画や詩歌などの題材としてもよく使われて います。 GPT-4 15.2 387 2.5 もみじは、日本特有の樹木の一種で、秋になると葉が赤やオレンジ色に変わることで知 られています。特に紅葉の季節には美しい風景を作り出します。もみじの葉は、カエデ の葉と混同されることがありますが、形状や色の変化などで区別することができます。 これに関して、私が持っているデータベースに情報がありませんでしたので、一般的な 回答をいたします。 RAG-3.5 6.5 1182 0.6 もみじは、広島大学の学生情報システムのことです。もみじは、学生の履修登録や成績 管理など、学生の情報を管理するためのシステムです。学生はもみじを利用して、科目 の履修登録や成績の確認を行うことができます。また、教員ももみじを利用して、成績 の登録や科目の作成を行います。もみじは、広島大学の学生や教員にとって重要なシス テムです。 RAG-4 10.0 1115 5.5 「もみじ」は広島大学の学生情報システムのことを指します。学生情報システムはSISと も呼ばれ、各部局の学生支援担当の事務の方が科目を作成し、学生は履修登録を行い ます。また、教員は成績を登録します。 FT-3.5 16.6 237 0.5 もみじは、学内のネットワークに接続されたコンピュータに対して、自宅や外出先からイ ンターネット経由でアクセスするための仕組みです。もみじを利用することで、自宅や外 出先から学内のコンピュータにリモートデスクトップ接続することができます。
16. もみじで履修登録した学生は、どれくらいでmoodleコースにも登録されますか？ 16 model time（秒） tokens charge （円) Answer GPT-3.5 4.2 337 0.1 通常、もみじで履修登録した学生は、数時間から数日以内にmoodleコースにも登録さ れます。ただし、大学やカレッジによって異なる場合がありますので、具体的な情報は所 属する学校のメディアセンターにお問い合わせください。 GPT-4 16.5 381 2.3 もみじでの履修登録後、通常は24時間以内にMoodleのコースにも自動的に登録さ れます。ただし、システムの状況により若干遅延する場合もありますので、登録が反映さ れない場合は少し時間を置いてから再度確認してみてください。それでも反映されな い場合は、メディアセンターのヘルプデスクにお問い合わせください。 RAG-3.5 5.5 1279 0.6 もみじで履修登録した学生は、通常はおよそ70分以内にmoodleコースにも登録され ます。ただし、登録には少し時間がかかる場合がありますので、最大で2時間程度かか ることもあります。もしもみじで履修登録した後にmoodleコースに反映されない場合 は、ヘルプデスクにお問い合わせいただくか、もみじの担当教員に連絡してください。 RAG-4 15.9 1286 6.5 「もみじ」で履修登録した学生は、日中であればおよそ70分以内にmoodleコースに登 録されます。「もみじ」からmoodleへのデータ連携が行われ、その結果として学生が moodleコースに追加されます。履修登録後、早ければ13分程度、長くても73分で登 録されるはずです。ただし、一部のコースでは登録に時間がかかる場合もありますので ご了承ください。 FT-3.5 12.1 186 0.4 もみじで履修登録した学生は、翌日の朝にmoodleコースにも登録されます。
17. もみじ饅頭はどこのお店がおすすめですか？ 17 model time（秒） tokens charge （円) Answer GPT-3.5 2.0 271 0.1 すみません、はっきりわかりません。メディアセンターのヘルプデスクにお問い合わせく ださい。 GPT-4 16.6 389 2.5 これに関して、私が持っているデータベースに情報がありませんでしたので、一般的な 回答をいたします。もみじ饅頭の名店としては、広島県の宮島にある「宮島製餅本舗」が 有名です。また、他にも地元で人気のお店やネット通販で評判の良いお店も多く存在し ます。お好みの味や価格、購入方法などを考慮して選んでみてください。 RAG-3.5 6.6 1260 0.6 すみません、はっきりわかりません。私が持っているデータベースに情報がありません でしたので、一般的な回答をいたします。もみじ饅頭は広島の名物であり、広島市内や 観光地などで多くのお店で販売されています。有名なお店としては、広島駅周辺や宮島 などにあるお店があります。地元の方や観光ガイドブックなどを参考にして、お店を選 んでみてください。 RAG-4 19.3 1242 6.3 これに関して、私が持っているデータベースに情報がありませんでしたので、一般的な 回答をいたします。もみじ饅頭のお店は広島県内に多数ありますが、人気のお店として は「宮島製餡所」や「宮島菓子舗大村」などがあります。ただし、おすすめのお店は個々の 好みによるため、いくつかのお店で試してみることをおすすめします。 FT-3.5 25.5 180 0.3 すみません、はっきりわかりません。メディアセンターのヘルプデスクにお問い合わせく ださい。
18. moodleコースのTAは、チームではどうなりますか？ 18 model time（秒） tokens charge （円) Answer GPT-3.5 7.2 415 0.1 Moodleのコースには、TA（Teaching Assistant）という役割はありません。 Moodleでは、コースに対して教師（Instructor）や学生（Student）の役割を割り当 てることができますが、TAの役割はありません。もしTAの役割を持つユーザがいる場 合は、別の役割（例：教師）を割り当てる必要があります。ただし、具体的な設定に関して は、Moodleの管理者やコースの所有者にお問い合わせいただくか、Moodleのヘル プドキュメントを参照してください。 GPT-4 23.5 499 3.5 MoodleコースのTA（教務補助員）は、通常、教師の補助として機能します。彼らは学生 の質問に答えたり、課題を採点したり、ディスカッションを監視したりすることができま す。また、必要に応じてコースのコンテンツを更新することも可能です。しかし、TAがど のようにチーム内で機能するかは、そのチームやコースの具体的な要件によります。例 えば、一部のチームでは、TAは特定の学生グループを担当するかもしれません。また、 他のチームでは、TAは特定の課題やプロジェクトを管理するかもしれません。これに関 して、私が持っているデータベースに情報がありませんでしたので、一般的な回答をい たします。 RAG-3.5 1.3 1172 0.5 moodleコースのTAは、Teamsのチームでは「所有者」として登録されます。つまり、 教員と同じ権限を持ち、チームの管理やコンテンツの編集が可能です。 RAG-4 5.6 1160 5.5 moodleのTAは、Teamsでリンクしたチームに「所有者」として登録されます。つまり、 教員と同じ権限を持つことになります。 FT-3.5 1.6 156 0.3 moodleコースのTAは、チームのメンバになります。
19. Teams Linkの設定は、コースに登録された学生支援担当職員でもできる？ 19 model time（秒） tokens charge （円) Answer GPT-3.5 8.7 457 0.1 はい、Teams Linkの設定は、コースに登録された学生支援担当職員でも行うことが できます。Teams Linkは、Microsoft Teamsを使用してオンライン会議やコラボレ ーションを行うための機能です。学生支援担当職員は、コースの設定や参加者の管理な どを行うことができますので、Teams Linkの設定も行うことができます。ただし、具 体的な設定方法については、学校や組織のポリシーや手順に従う必要がありますので、 詳細は所属する学校や組織のヘルプデスクにお問い合わせください。 GPT-4 8.5 348 2.0 はい、Teams Linkの設定はコースに登録された学生支援担当職員でも可能です。た だし、そのためには管理者から適切な権限を付与されている必要があります。具体的な 手順や設定方法については、Teamsのヘルプセンターや管理者にお問い合わせくださ い。 RAG-3.5 6.4 1910 0.9 はい、学生支援担当職員もTeams Linkの設定ができます。Teams Linkの設定は、 主担当教員、副担当教員、世話教員、学生支援担当職員、TAなど、コースに登録された さまざまな役割のユーザが行うことができます。 RAG-4 9.4 1897 9.0 はい、できます。 「主担当教員」「副担当教員」「世話教員」「学生支援担当職員」「TA」が設定できます。学 生などその他の役割のユーザが「Teams Link」をクリックすると、利用できない旨表 示されます。 FT-3.5 0.4 157 0.3 はい、できます。
20. moodleで、多肢選択クイズの回答選択肢に画像は使えますか？ 20 model time（秒） tokens charge （円) Answer GPT-3.5 9.1 470 0.1 はい、Moodleでは多肢選択クイズの回答選択肢に画像を使用することができます。画 像を選択肢として追加するには、クイズの作成または編集画面で、回答選択肢のテキス トボックスの横にある「画像挿入」ボタンをクリックして画像をアップロードするか、既存 の画像を選択することができます。ただし、画像のサイズや形式に制限がある場合があ GPT-4 16.3 409 2.6 はい、Moodleの多肢選択クイズの回答選択肢には画像を使用することが可能です。具 体的には、HTMLエディタの「画像を挿入」ボタンを使用して画像をアップロードし、選 択肢の一部として使用できます。ただし、画像のサイズやフォーマットには注意が必要で す。また、全てのユーザーが画像を正しく表示できるように、適切なアクセシビリティ対 RAG-3.5 3.2 1535 0.7 はい、moodleでは多肢選択クイズの回答選択肢に画像を使用することができます。画 像を選択肢として追加するには、以下の手順をお試しください。 1. クイズの作成画面に移動します。 2. 回答選択肢の入力欄にテキストを入力します。 3. 画像を追加したい場所で、画像アイコンをクリックします。 RAG-4 25.9 1507 8 はい、moodleの多肢選択クイズの回答選択肢には画像を使用することが可能です。具 体的な手順は以下の通りです。 1. クイズを作成または編集するページを開きます。 2. 「問題の追加」または「問題の編集」をクリックします。 3. 「問題タイプ」で「多肢選択」を選択します。 4. 必要な情報を入力した後、回答選択肢の部分で「HTMLエディタ」を開きます。 FT-3.5 1.5 157 0.3 はい、使えます。
21. 「綾瀬はるか」という学生をコース登録したいのですが、みつかりません。いるはずなのに。 21 model time（秒） tokens charge （円) Answer GPT-3.5 2.1 293 0.1 すみません、はっきりわかりません。メディアセンターのヘルプデスクにお問い合わせく ださい。 GPT-4 3.7 293 1.5 すみません、はっきりわかりません。メディアセンターのヘルプデスクにお問い合わせく ださい。 RAG-3.5 2.3 2159 1.0 すみません、はっきりわかりません。メディアセンターのヘルプデスクにお問い合わせく ださい。 RAG-4 15.8 2281 11.0 「綾瀬はるか」さんを検索する際は、「はるか 綾瀬」と逆に入力してみてください。名前 で検索するのにフルネームを入れたい場合は「名 姓」と逆に入れる必要があります。名 と姓の間は半角スペース一つです。それでも見つからない場合は、学生番号で検索して みてください。それでも見つからない場合は、一度メディアセンターのヘルプデスクに お問い合わせください。 FT-3.5 1.8 231 0.5 「綾瀬はるか」という学生は、学生情報システムに登録されていない可能性があります。 学生情報システムに登録されていない学生は、コース登録できません。
22. I want to enroll a student whose name is 「綾瀬はるか」 but I can't fi nd her. How come? (1) 22 model time（秒） tokens charge （円) Answer GPT-3.5 3.2 309 0.1 I apologize for the inconvenience. It's possible that the student's name is not spelled correctly in the system or there may be an error in the data entry. I recommend double- checking the spelling of the student's name and trying again. If you still can't find her, it's best to contact the Media Center's help desk for further assistance. GPT-4 9.9 338 2.0 I'm sorry, but I can't provide specific information about individual students due to privacy and confidentiality policies. However, if you're having trouble enrolling a student, it could be due to a few reasons. The student might not be in the system yet, or there could be a spelling or formatting error in the name you're entering. Please double-check the information you have and try again. If you're still having trouble, please contact the school's administration or the appropriate department for further assistance.
23. I want to enroll a student whose name is 「綾瀬はるか」 but I can't fi nd her. How come? (2) 23 model time（秒） tokens charge （円) Answer RAG-3.5 4.4 1791 0.8 I apologize for the inconvenience. It seems that the search function in the "Participants" section may not be able to find users based on their full name. Please try searching for the student using either their first name or last name only. For example, you can try searching for "ҁ੉" or "͸Δ͔" instead of "ҁ੉͸Δ͔". If that doesn't work, please try searching using their student ID or contact the Media Center Help Desk for further assistance. RAG-4 14.1 1852 9.1 If you can't find the student you're looking for, it could be due to a few reasons: 1. The student is already enrolled in the course. If this is the case, they won't appear in the search results again. 2. You might be entering the name in the wrong order. In the search box, you should enter the name as "First name Last name" with a space in between. So, for the student you're looking for, you should enter "͸Δ͔ ҁ੉". 3. If the full name doesn't work, try searching with just the first name or the last name. If you still can't find the student, it's possible that they might not be registered in the system. In this case, please contact the Media Center Help Desk for further assistance. FT-3.5 1.3 168 0.3 ʮҁ੉͸Δ͔ʯ is not a student. She is an actress.
24. 'ইঠࣁ ೞܖ஠'ۄח ೟ࢤਸ ١۾ೞҊ र਷ؘ ଺ਸ ࣻ হणפ׮. ੓ਸ బؘ. 24 model time（秒） tokens charge （円) Answer GPT-3.5 4.6 357 0.1 દ࣠೤פ׮, Ӓ ೟ࢤী ؀ೠ ੿ࠁо ઁ ؘ੉ఠ߬੉झী হणפ׮. ੌ߈੸ਵ۽ ೟ࢤ ١۾ী ؀ೠ ੺ରח ೟Үա Үਭ ӝҙী ٮۄ ׮ܳ ࣻ ੓णפ׮. ೟Ү੄ ҙܻ੗ա ೟ࢤ ࢲ࠺झ ࠗࢲী ޙ੄ೞ ৈ ೟ࢤ ١۾ী ؀ೠ ૑ஜਸ ঳ਵप ࣻ ੓णפ׮. GPT-4 13.9 375 2.3 すみません、私のデータベースでは'ইঠࣁ ೞܖ஠'ۄח ೟ࢤの情報を確認することがで きません。学生情報の更新が遅れている可能性もありますので、少し時間を置いてから 再度試してみてください。それでも問題が解決しない場合は、メディアセンターのヘル プデスクにお問い合わせください。 RAG-3.5 10.4 1995 0.9 દ࣠೤פ׮, Ӓ ೟ࢤਸ ଺ਸ ࣻ হ׮ח Ѫ਷ Ӓ ೟ࢤ੉ ই૒ ١۾غ૑ ঋওѢա ׮ܲ ੉ܴਵ۽ ١۾غয ੓ਸ ࣻ ੓णפ׮. ׮਺җ э਷ ߑߨਸ दب೧ࠁࣁਃ. 1. ೟ࢤ੄ ࢿҗ ੉ܴਸ ੿ഛ൤ ੑ۱೮ח૑ ഛੋೞࣁਃ. ৘ܳ ٜয, "ೞܖ஠ ইঠࣁ" ؀न "ইঠ ࣁ ೞܖ஠"۽ ੑ۱ೞݶ ೟ࢤਸ ଺ਸ ࣻ হणפ׮. 2. ೟ࢤ੉ ੉޷ ׮ܲ ੉ܴਵ۽ ١۾غয ੓ח૑ ഛੋೞࣁਃ. ৘ܳ ٜয, ߹ݺ੉ա ׮ܲ ੉ܴਸ ࢎਊೞח ҃਋о ੓ਸ ࣻ ੓णפ׮. RAG-4 4.3 1733 8.0 すみません、はっきりわかりません。メディアセンターのヘルプデスクにお問い合わせく ださい。 FT-3.5 27.5 217 0.4 「ইঠࣁ ೞܖ஠」ۄח ೟ࢤ਷ ١۾غয ੓૑ ঋणפ׮. ١۾ೞҊ रਵदݶ, ೟ࢤ੉ ١۾غয ੓ ח૑ ഛੋೞदҊ, ١۾ೞदӝ ߄ۉפ׮.
25. 応答時間×料金 25 g G r R F g G r R F g G r R F g G r R F g G r R F g G r R F g G r R F 0 5 10 15 20 25 0 2 4 6 8 10 time charge RAG-4→ RAG-3.5 ↓ FT-3.5 ↓
26. まとめ ‣ 回答品質は、やはりGTP4+RAGがベスト ✓ 1回10円程度のコスト ✓ 応答時間は2-3倍かかる ‣ Fine-tuningは…当方がスキル不足すぎと思われる ‣ 今後 ✓ 内部評価用のChatbotを作成→試用のログから定量的評価 ✓ センターサービスに関連する情報を「独自情報」に 落とし込む ✓ 手順や画像を回答にカッコよく入れる方法について検討する ✓ LangChainとかragasとか… 26