生成系AIで自前データを扱うには （自前のPCで動かしてみた） 大野 宏 Python機械学習勉強会 in 新潟 #18 

生成ＡＩを自社のベテラン社員並みに マイナーな事に答えられない全能人工知能より、自社のベテラン社員並み に何でも答えてくれる生成ＡＩが欲しい ⇒ つまらないことを聞いても怒られな い、何回同じことを聞いても答えてくれる ・参照用テキストを質問につける：業務マニュアルのデータベースを構築し、 質問内容に関する部分を取り出しChatGPTへ渡す（LangChain、LlamaIndex （内部でLangChainを利用））、データは学習に利用されない ・AzureやAWSでもサービスを提供 ・ファインチューニング：独自データで一部を再学習 ・自社のPCに生成AIを構築し、べテラン社員にしたい 

ローカルPCに生成AIを作る ・Huggingface Transformers：自然言語処理用の深層学習フレームワーク テキスト分類、質問応答、要約、テキスト生成などが可能 ・質問応答 「コンテキスト」（ひとまとまりの文章）と「質問」から、コンテキスト内に含ま れる「応答」を出力するタスク ・コンテキスト「日曜日に友達と古町に遊びに行きました。」 質問「どこに遊びに行った？」 応答「古町」 

手順 ・事前学習モデルとして「東北大学 乾研究室の日本語BERTモデル」を使用 ・質問応答のデータセットでファインチューニング 「運転ドメインQAデータセット」の「文章読解QAデータセット」を利用 （京都大学 言語メディア研究室が公開） 

結果 「コンテキスト」 元寇は、日本の鎌倉時代中期に、モンゴル帝国および南宋と高麗によって2度 にわたり行われた対日本侵攻である。蒙古襲来等とも呼ばれる。1度目を文永 の役、2度目を弘安の役という。 「質問」 元寇で、日本はどの国から攻めまれましたか。 「応答」 モンゴル帝国および南宋と高麗 

大規模言語モデル ・GPT-2（2019年）：パラメータ数15億 ・GPT-3（2020年）：パラメータ数1750億 ・サイバーエージェント Calm2-7b（CyberAgentLM2-7B） 70億 ・rinna japanese-gpt-neox-3.6b-instruction-ppo 36億 

Ｃａｌｍ２－７ｂに質問してみた Ｑ：AIによって私達の暮らしはどのように変わりますか。 Ａ：1. 効率性の向上：AIは、データ分析、自動化された意思決定、プロセスの自動化を通じて、仕事の処理速度 を劇的に向上させることができます。これにより、生産性が向上し、より多くの業務をより短時間で完了できるよ うになります。 2. 新しいビジネスモデル：AIは、新しいビジネスモデルの構築や既存のモデルの改善に役立つ可能性がありま す。例えば、顧客の好みや需要に合わせて商品やサービスを提供する「カスタマージャーニー管理」や、AIを活 用した「自動化された接客」などです。 3. 病気の予防：AIは、病気の予防や特定に役立つ可能性があります。たとえば、健康状態を監視・検査するウェ アラブルデバイスや、病気のリスクを予測するアルゴリズムなどがあります。 4. 安全性とセキュリティの向上：AIは、様々なシステムやデバイスの安全性やセキュリティを向上させるために使 用できます。例えば、自動運転車の安全性向上や、顔認識技術を使用したセキュリティシステムの改善などが 挙げられます。 5. 人間の能力の拡張：AIは、人間の能力を高めることもできます。例えば、AIを搭載したロボットが、人間が作業 できない危険な環境や状況で活動する「人間拡張」が挙げられます。 これらは、AIが日常生活に与える影響のほんの一部です。AIの用途は今後も拡大し、社会や産業に影響を与え ていくでしょう。 

まとめ ・ローカルPCに生成ＡＩを構築してみた ・独自情報を入れて回答できるようにしたい ・（株）サイバーエージェントのopen-calm-7bはローカルPCでも動作可能 GeForce RTX 3060（12GB）で動作可能 https://qiita.com/yasusun/items/6418f5558ea9993b725b 一方で ・有料ではあるが独自情報に回答できるサービスあり（LangChainなど） ・テキストだけでなく画像や音声も扱えるようになりつつある