Google Bertを転移学習させた自作モデルでドキュメント検索した結果を In-context LearningしたChat GPTで回答させてみた

Transcript

1. Moriyuki Arakawa Google Bertを転移学習させた自作モデルでドキュメント検索した結果を In-context LearningしたChat GPTで回答させてみた 独自データを回答できるチャットボットを作ってみた
2. Hello!! 普段はruby node python goなどを使ってwebアプリ開発を しているなんでも屋です。機械学習はたまぁに仕事があるくら いですがちょっと勉強したのでLTします。 Name : Moriyuki Arakawa @moriyuki_ar 新川 盛幸 https://www.facebook.com/profile.php?id=100006282603045 @arakawamoriyuki
3. 何を作ったの？ ?
5. 自然言語で会話できるAIチャットサービス Fine-tuningで独自データを学習もできるけど高い Chat GPT？ ?
6. 独自のデータでモデルのパラメータを更新する なかなか個人でやりにくい金額なので今回はやらない Fine-tuning？ ?
7. モデルを変えることなく入出力例で学習させる 投げるメッセージにヒントをいれて文章生成 In-context Learning？ ?
8. 引用元 https://elyza-inc.hatenablog.com/entry/2021/03/25/160727#In-context-Learning
9. Googleの検索エンジンに使われてる自然言語モデル 学習済みモデルが公開されている Google Bert？ ?
10. 引用元 https://aismiley.co.jp/ai_news/bert/
11. 学習済みモデルを拡張して別のタスクに特化させる 今回は3層の全結合層などなどを追加 Transfer Learning？ ?
12. 引用元 https://zero2one.jp/ai-word/transfer-learning/
13. Datasets？ ?
14. Results？ ?
20. Thanks!! 細かい詳細はこのリポジトリへ https://github.com/arakawamoriyuki/gpt-in-context-l earning-on-google-bert-api