LLMを組み込んだサービスを開発した話

1. LLMとは
2. 今回開発したサービス
3. なぜLLMが流行っているのか
4. 主要なモデル
5. LLMの種類
6. LLMを組み込んだサービス開発

Transcript

1. 株式会社クラウドワークス 土屋 貴大 LLMを組み込んだ サー ビスを開発した話
2. 土屋 貴大 X(@ttaka_66) ・株式会社クラウドワークス ・リモートワーク ・朝起きれない ・ソフトウェアエンジニア(何でも屋) ・テクノロジーの仕組みを知ることが好き ・ウマ娘、競馬が好き ・グミが好き
3. やっていること AWS, GCP, Azure, Terraform, CDKとか Typescript, Python, Golang, Ruby, Javaとか Jupyter Notebook, Google Spreadsheetとか BigQuery, Airflow, Embulkとか 01 | インフラ 02 | バックエンド 04 | データ分析 05 | データ基盤 TypeScript, React.js, Vue.jsとか Azure OpenAI Service, Hugging Face, LangChainとか 03 | フロントエンド 06 | LLM
4. Agenda 1. LLMとは 2. 今回開発したサービス 3. なぜLLMが流行っているのか 4. 主要なモデル 5. LLMの課題 6. LLMを組み込んだサービス開発
5. LLMとは
6. LLMとは Large Language Modelの略 大規模な自然言語を学習した機械学習モデル
7. ChatGPTに聞いてみた
8. アメリカの大統領は？ 2023年のBC優勝国は？ 2023年のダービー馬は？ … 学習と推論(教師あり学習) 学習器 ax+b ジョー・バイデン 日本 タスティエーラ … 学習(training) 推論(inference) 日本の首相は？ 推論器 2x+3 岸田文雄 モデル
9. 今回開発した サービス
10. AI副業診断
11. AI副業診断(使い方) 1. LINEで友達登録 2. 「診断」と入力 3. チャットボットの質問に回答 する 4. AIが適切な副業とおすすめ のプロジェクトを提案
12. AI副業診断(ネットワーク)
13. AI副業診断(特徴) ・LLMを利用しているので個別の入力に沿った回答が得ら れる ・入力情報から関連度が高いCrowdlinksプロジェクトを提 案
14. なぜ今LLMが 流行っているのか
15. なぜ今LLMが流行っているのか 1. データ量の増加 2. ハードウェアの性能向上 3. 自己教師あり学習 4. Transformerの登場 5. ChatGPTの登場
16. LLMの歴史 1950 ニューラルネットワー クを利用した AlexNetが一般画像 コンテストで圧倒的 なスコアを出して優 勝した 2012 Google研究者たち による「Attention Is All You Need」で Transformerが発表 される 2017 ChatGPTがリリース され5日でユーザー 数100万を突破 2022 現在 ニューラルネットワー クの登場 多くのビッグテックや スタートアップがLLM の性能を競い合って いる
17. ニューラルネットワーク(NN) 当初は脳の神経回路を 参考にして作られたが、 現在はコンピューターに 適した独自の進化を遂 げている
18. データ量の増加 訓練データ、モデルサイズ、投 入計算量を増やせば増やすだ け性能が高くなることが判明。 ただし、Transformerベースの モデルに限る。(後述) 引用: 大規模言語モデルは新たな知能か ChatGPTが変えた世界 岡野原 大輔
19. ハードウェアの性能向上 モデルサイズと投入計算量を増 やした結果、Googleが発表した Palmではスーパーコンピュー ター富岳を2ヶ月占有に相当す るような規模のリソースが学習 に必要とされている。
20. 自己教師あり学習 (Self Supervised Learning SSL) 吾輩は猫である。名前はまだない。 ↓ (問題)吾輩は◦である。名前はまだない。 + (正解)猫
21. Transformerの登場 Googleの研究者により発表された機械学習モ デルアーキテクチャ。2023年10月現在話題に なっているモデルはほとんどTransformerを ベースとしている。 Encoder: トークン(単語のようなもの)から特徴 ベクトルを生成 Decoder: 生成済みの特徴量から次のトークン を生成 引用: Attention Is All You Need
22. ChatGPTの登場 1. 5日で100万ダウンロード 2. 人間のように会話ができる 3. 多くのタスクに適用できる 4. 非エンジニアでも気軽に使える
23. 主要なモデル (2023年10月時点)
24. 主要なモデル - GPT(OpenAI): ChatGPTに使われているモデル - Palm(Google): Bardに使われているモデル - LLama(Meta): Open Source - BERT(Google): 分類や翻訳が得意 - Mistral(Mistral AI): 最近リリースのOpen Source - rinna/bilingual-gpt-neox(rinna): 日本語特化 - OpenCALM(Cyber Agent): 日本語特化
25. Hugging Face - オープンソースの事前学習済み (pre-trained)モデルやデータ セットが公開されていて、簡単 に利用することができる
26. モデルの選び方 - パラメーター数 - どのタスクに向いているか(テキスト生成、要約、翻訳、 質問回答、etc) - 学習方法(Encoder、Decoder、Encoder・Decoder) - 料金 - オープンソースか - 日本語特化 迷ったらOpenAIのものを使ってみよう！！
27. LLMの課題
28. LLMの課題 1. Hallucination(幻覚) 2. 未知の情報を回答できない 3. セキュリティ
29. Hallucination(幻覚) 存在しない情報を作り出し てしまう → 専門家でさえ本物かどう か区別がつかない場合が ある → 間違った情報が拡散さ れてしまうリスクがある
30. 未知の情報を回答できない 学習には時間がかかる → GPTは2021年2月まで のデータしか学習していな い → 最新の情報を反映した 推論ができない 社内文章などから推論でき ない
31. セキュリティ - プライバシーに関わること を学習に使われてしまう恐 れがある - 価値観や偏見に対する扱 い
32. LLMを組み込んだ サービス開発
33. LLMを組み込んだサービス 1. Hallucination(幻覚) 2. 未知の情報を回答できない 3. セキュリティ 4. ゴールを設定しにくい
34. Hallucination(幻覚) - 存在しない情報を作り出してしまう - 2023年10月時点で完全に間違いをなくす方法は見 つかっていない - 間違った情報が拡散されてしまうリスク - そもそも人間界でもデマが拡散されることはある - 間違った情報が含まれる可能性があることを理解 してもらうことが重要
35. 未知の情報を回答できない - プロンプトにcontextを与える - RAG(Retrieval Augmented Generation) - 文章検索で抽出したものをLLMに渡す - Fine-tuning - 事前学習済みモデルに追加学習させる
36. RAG 引用: https://www.ariseanalytics.com/activities/report/20230818-2/ ① ② ③ ⓪
37. Fine-tuning Transformer 事前学習済モデル (GPT, BERTなど) 新しい情報を持っ たモデル 新しい情報
38. セキュリティ - プライバシーに関わることを学習に使われてしまう恐れ がある - AzureのOpenAI Serviceを利用 - 価値観や偏見に対する扱い - 現状法的に整備されていない部分はあるが、利用 規約、プライバシーポリシーに記載して了承してもら うことで対応
39. ゴールが設定しにくい - 明確に正解があるタスクに使うにはまだ早そう - 評価指標を最初に考えよう
40. 明確に正解がないタスク - 今回開発したAI副業診断 - 適職は個人の価値観に影響する部分が大きい - 人によって正解が違う - 様々な軸から提案することでヒントを与える - 人物像 - 得意なこと - やりたいこと - etc
41. 評価指標 - LLMで評価 - LLMで出力された文章を別のLLMで評価する - 機械学習の手法 - 人間によって正解ラベルをつけたものをLLMが選択 するかを確認 - JGLUEなど評価用のデータセットもある - Webトラッキング - クリック率(CTR)、コンバージョン率(CVR)など
42. おまけ(LangChain) - Models: 様々なモデルの切り替え、組み合わせ - Prompt: プロンプトの管理、最適化、シリアル化 - Indexes: CSVやPDFなどの外部データを用いた回答 - Chains: 複数のプロンプト入力の実行 - Agents: どのように課題を解決するかを自動で決定 - Memory: プロンプトなどの結果を保持
43. まとめ
44. まとめ - Transformerの登場で汎用的な自然言語処理が可能 になった - ChatGPTの登場以来、LLMに注目が集まって多くの企 業が競い合って新しいモデルを開発している - LLMによってどのようにソフトウェア開発が変わるのか はまだ模索段階
45. ご清聴ありがとうございました AI副業診断やってみてください！ https://lin.ee/5EhlLUQ