彼女を励ますために、 Azure OpenAI Serviceを使って、 kmakici LINE bot を作った

@2024/8/3 初心者・初登壇Welcome！LINEを使ったLT大会 #9
での発表内容です！

Transcript

1. 彼女を励ますために、 Azure OpenAI Serviceを使って、 kmakici LINE bot を作った マルチンゲール @2024/8/3 初心者・初登壇Welcome！LINEを使ったLT大会 #9
2. 自己紹介 マルチンゲールと申します ✓ 製造業向け生成AI活用コンサル/エンジニア ✓ 元生産技術者 2 X：@industrial_ds Qiita：@banquet_kuma
3. 3 以下の記事を基にしています
4. 取り組みの背景 ✓ PJに参画するために、Azure OpenAIのスキルを身に付けたかった ✓ 何か作ってみることが、アピールになると考えた ✓ 折角なら、身近な人に役立つ物を、、 4 知識を インプット 生成AIを使っ たツールを 作ってみる アウトプット する FBを受ける 改良する
5. kmakici ✓ 昨今、じわじわと人気が出ているサブカル的な白くまのキャラ ✓ 「歩いて10分、車で30分～」等 深いのか、深くないのか判断に迷う“？”な発言が魅力 5 登録者数：43,000人 フォロワー：75,000人 ヴィレヴァンとコラボ したこともあるよ！
6. やりたかったこと 6 機能 内容 実現方法 # 励まし 何かにつけて、kmakiciの口調で励ます システムプロンプトで制御 1 2 画像の認識 画像を理解した会話ができる 3 記憶 前々の会話を基に、回答できる # 1 2 3 GPT-4oの利用 Azure Blobに質問と回答を保存
7. アーキテクチャ 7
8. 苦労した点 ✓ 課題： LINE App.では、画像とテキストを同時に入力できない 画像に対する指示を区別する必要があった ✓ 対策： 「テキストに”画像”と言うワードが含まれる場合、次に入力される画像に 対する指示とする」 8
9. 苦労した点 9 この入力に対して 回答させたくない
10. 10 解決方法 ✓ 最新のメッセージにキーワードが含まれるかを判定 ✓ 必要に応じてテキスト/画像用 APIを切り替え
11. Output - 励まし - 11
12. Output - 画像認識 - 12
13. Output ～記憶～ 13
14. 今後やりたいこと - kmakiciぽさの強化！- 14 Azure OpenAI 知識情報 言語モデル テキスト 抽出 収集 質問 回答 検索結果 回答 LINE App. プロンプト 検索 質問入力 生成指示 kmakiciの素 プロンプト クエリ 回答 回答 ユーザー ユーザー Azure AI Search kmakiciの素 Azure AI Video Indexer 等 データ 格納 Azure Blob Storage kmakiciの素 プロンプト ファインチューニング ✓ RAGやファインチューニングを使って“kmakiciぽさ”を強化
15. LINE App.＋Messaging APIを使える嬉しさ ✓ フロントエンドの開発が不要 ➢ バックエンドエンジニアには非常に助かる！ ✓ 誰もが知っているUIなので、万人に抵抗なく使っていただける ➢ 本業の開発でも使っていきたい！工場向け生成AI Chatとか。 15