生成AI、LLMの いまさら聞けないキホンのキ！/ Generative AI and LLM 101

2024/10/23 Oracle AI Jam Session #18 で喋った内容
そもそも生成AIとは？LLM（大規模言語モデル）とは？
... といった基本の用語の解説から、実践において用いられるファインチューニングやRAGなどの説明まで、この分野への入門的な内容をまとめてできるだけわかりやすく解説。また、生成AIが話題になってからここまでの話題、トレンドの変遷などを振り返っていくことで、一度でこの分野の最新の状況までキャッチアップ。

Transcript

1. 生成AI、LLMの いまさら聞けないキホンのキ！ Oracle AI Jam Session #18 中村 岳 日本オラクル株式会社 ソリューションアーキテクト部 2024年10月23日
2. Copyright © 2024, Oracle and/or its affiliates 2 中村 岳 X（Twitter）、はてなブログ：@gakumura • 現職：ソリューションエンジニア@日本オラクル • 担当：Oracle Blockchain Platform、 Blockchain Table、AI関連サービス • 前職：金融決済系SIerでパッケージ開発 • SWIFT、CLS、日銀ネット関連の銀行間決済システム
3. Copyright © 2024, Oracle and/or its affiliates 3 昨今ブームとなっている生成AI、LLMについて、自身のビジネス活用を考えるための基礎を固める！ そのために… • 基本的な用語を理解する • 代表的なユースケースを知る • ビジネス活用での技術的なトレンドトピックの変遷を把握する • 言及されがちな課題やリスクを抑える このセッションの目的
4. 1. 「生成AIブーム」の成り立ち 2. デモ：生成AIのWebサービスを触ってみよう 3. 理解しておきたい基本的な用語 4. 生成AIのビジネス活用の代表的ユースケース 5. ビジネス活用での技術的トピックのトレンド変遷 6. 覚えておきたい課題やリスク 7. 生成AIの今後 このセッションの内容 Copyright © 2024, Oracle and/or its affiliates 4
5. Copyright © 2024, Oracle and/or its affiliates 5 「生成AIブーム」の成り立ち
6. Copyright © 2024, Oracle and/or its affiliates 6 • 生成AIブームは機械学習を基礎としており、いわゆる第3次AIブームの延長線として位置づけることができる • 一方で、第3次AIブームとは量的、質的に多くの点で異なる様相を見出し、第4次AIブームとして位置づける論も • あるいは「もはや”ブーム”ではない」とも 生成AIブームは第4次AIブーム？ 出典：電通報 出典：DBJソフトインフラレポート
7. Copyright © 2024, Oracle and/or its affiliates 7 • 第1次AIブーム（1960年代） • コンピュータが得意とする分類（パターン分け）による推論、探索が中心 • 現実世界の複雑な問題は解けず • 第2次AIブーム（1980年代） • ルールベースで専門家の業務プロセスを模倣するエキスパートシステムが中心 • ルールの記述の手間や例外処理の難しさというアプローチ的な限界と、性能的な限界につきあたる • エキスパートシステムの仕組み自体は普及し、今日でも広く使われている • 第3次AIブーム（2000年代～現在？） • 機械学習とディープラーニングを基礎として様々な実用が発展 • 将棋、囲碁などの、従来人間を破ることは難しいとされていた複雑なゲームでのAIの強さなどでも話題に • 背景にコンピュータの計算能力の向上と、扱えるデータの飛躍的な増大（ビッグデータ時代） ざっくりと振り返るこれまでのAIブーム
8. Copyright © 2024, Oracle and/or its affiliates 8 • GAN（敵対的生成ネットワーク）の提唱（2014年） • データの生成モデルと識別モデルをセットで競い合わせ訓練していくことで互いの精度を高めていく手法 • Transformerの提唱（2017年） • “Attention is all you need”：モデルがどのような情報にどの程度「注意」を向けるべきかを学習させるアプローチ • その後の生成AI技術の急激な発展の基礎となる • Google AIが言語モデルBERTをリリース（2018年） • AIの言語における文脈を理解する能力の躍進を示す • OpenAIが言語モデルGPT-2をリリース（2019年） • テキスト生成の能力の高さで注目を集める • Deepfakeの氾濫（2020年） • 入れ替えにより作成された、本物と見まごうようなニセ画像、ニセ動画が話題に • 画像生成AIが話題に（2022年） 生成AIブーム前夜：いくつかのトピック
9. Copyright © 2024, Oracle and/or its affiliates 9 • テキストを入力するとそれに見合った画像を生成するモデル （text-to-imageモデル）が次々発表される • DALL-E / OpenAI社 • Midjourney / Midjourney社 • Stable Diffusion / Stability AI社 • 気軽に試しやすく、また、インパクトがある生成画像は拡散 しやすいためSNS上などで話題になった 画像生成AIが話題に（2022年） 出典：OpenAI
10. Copyright © 2024, Oracle and/or its affiliates 10 • OpenAI社が大規模言語モデルGPT-3.5をベースとしたChatGPTを公開 • Webサイト上の対話形式で誰でもかんたんに生成AIの力を体感 • 「まるで人間のように自然な会話ができる！」 • 世界中で話題となり、瞬く間に利用が広がる ChatGPTの登場：「生成AIブーム」の到来（2022年12月） 出典：ITmedia
11. Copyright © 2024, Oracle and/or its affiliates 11 • 万人が触れやすく、わかりやすいかたちで 先進的な技術が提供されたことで、一気に普及 • これまでのAIブームとは桁違いの規模、早さで投資が 集まり、技術が日進月歩で進化 • ビジネスでの活用も高速に進む これまでのAIブームとの違い 出典：@kylef_ on X ChatGPTのユーザー数は5日で100万人、2ヶ月で1億人に到達
12. Copyright © 2024, Oracle and/or its affiliates 12 デモ：生成AIのWebサービスを触ってみよう
13. 登壇資料作成についてChatGPTに聞いてみた結果 Copyright © 2024, Oracle and/or its affiliates 13
14. Copyright © 2024, Oracle and/or its affiliates 14 理解しておきたい基本的な用語
15. Copyright © 2024, Oracle and/or its affiliates 15 • テキストや画像など、さまざまなコンテンツ（情報）を生成（創造）できるAI技術を指す総称 • ※あくまで総称であり厳密な定義はない • 従来型AIとの違いは？ • 従来型AIが入力された情報の整理、解析、判断、また、そこからの予測に重きを置いていたことに対して、 生成AIは新しい情報を生成することに重点がある、とする説明がある • ※が、実際にはわりと境界は曖昧な気も… 生成AI（Generative AI、GenAI）とは 出典：野村総合研究所
16. Copyright © 2024, Oracle and/or its affiliates 16 • 人間の「知能」による機能（とされるもの）を人工的に実現したもの？ • 時代や用いられる文脈で意味がだいぶブレるのでひとくちに説明するのは難しい… • 単にルールベースで動作するプログラムでもAIと呼ばれたり • 「人間と同等（またはそれ以上）の知的能力」が含意、期待されたり • 知能だけでなく人間のような感情がある（かのように振る舞う）ものが想像されたり そもそもAI（Artificial Intelligence、人口知能）とは？ 出典：Movie Walker
17. Copyright © 2024, Oracle and/or its affiliates 17 • コンピュータに大量のデータを「学習」させることで、特定のタスクについての処理を行う「モデル」を構築する技術 • モデルはデータの中のルール、パターンや関係性を発見し学習する • 構築したモデルは学習結果に基づいて判断、推論をしてタスクを処理する • モデルにデータを与え学習させることを「訓練（Training）」とも呼ぶ • AIを実装するための技術要素であり、また、構築されたモデルを指してAIと呼ぶこともある • 【余談】「～～をAIで実現します」と言うと「AIではなく機械学習と言え！」と怒られが発生する訂正されることも • 最近は少なくなった気がする…生成AI／LLMの急激な発展で人間以上の能力を発揮する場面が多くなったため？ 機械学習（Machine Learning、ML）とは AI：人間の「知能」による機能を人工的に実現したもの 機械学習： コンピュータに大量のデータを学習させることで 特定のタスクを処理するモデルを構築する技術 AIを実装するために機械学習を用いる 大量のデータ モデルを構築 学習 モデル 訓練 実行 高速に 処理 大量のタスク
18. Copyright © 2024, Oracle and/or its affiliates 18 • 高度な機械学習の手法のひとつ • ざっくり言うと「与えられたデータのどこに着目して判断すべきか（→特徴量）」を人間が教えてやらなくてもモデルが勝 手に見つけてくれることが特徴 • 判断基準を言語化しづらいような分野、また、複雑すぎて人間には判断にあたって着目すべき点がわからないような分 野でも効果的なモデルを構築しやすい • 判断基準を言語化しづらい分野の例：画像認識や音声認識 • 人間には複雑すぎる例：将棋、囲碁などの高度な頭脳ゲーム ディープラーニングとは 機械学習 ディープラーニング： 高度な機械学習の手法 ディープラーニング モデル 着目すべき点、 判断基準を 自身で発見し学習 学習データ
19. Copyright © 2024, Oracle and/or its affiliates 19 大規模言語モデルとは大規模な言語モデルです ——（終）—— ・・・ • 言語モデル • 言語データを学習し、ある単語の後に続く単語が、どのくらいの確率で出現するかを予測するモデル • 大規模 • 機械学習に使用したデータ量が大きい • 学習、推論に使用されるコンピュータの計算量が大きい • ディープラーニングのモデルのパラメータ数が大きい • 言語モデルが大規模になることで… • 文脈を踏まえた文章の解釈（理解）、より自然な文章の生成が可能に • より幅広いタスクに対応できる様々な能力が発現（創発） LLM（Large Language Model、大規模言語モデル）とは よろしく ね お願い 。 10％ 5％ 70％
20. Copyright © 2024, Oracle and/or its affiliates 20 • 生成AIはテキスト、画像、動画、音声などの情報を生成するAI技術の総称であり、 自然言語処理を行うLLMだけには限らない • が、「生成AI」と呼ばれるものは、LLMそのものを指している、あるいはLLMを基盤として用いているものが多い • 人間となんらかのかたちで言語をやりとりさせるため • GPT-4やClaude 3など、言語データ以外にも画像や音声などを学習し、それらの入力、生成に対応する能力を備え ているモデル（マルチモーダルモデル）もあるが、それらも単にLLMと呼ばれることが多い • 人間とのコミュニケーションでは言語が最も重視されるため？ • 汎用的な能力を備えたモデルを指して 「基盤モデル（ファウンデーションモデル）」という呼称もある 「生成AI」と「LLM」の関係 生成AI：情報を生成するAI技術の総称 LLM： 言語の解釈、生成などを行う 大規模なモデル LLMを含む、基盤として用いる
21. ざっくり用語まとめの図 Copyright © 2024, Oracle and/or its affiliates 21 AI：人間の「知能」による機能を人工的に実現したもの 機械学習： コンピュータに大量のデータを学習させることで 特定のタスクを処理するモデルを構築する技術 AIを実装するために機械学習を用いる ディープラーニング： 高度な機械学習の手法 生成AI：情報を生成するAI技術の総称 LLM： 言語の解釈、生成などを行う 大規模なモデル LLMを含む、基盤として用いる いち分野として含む LLM構築には ディープラーニングが 用いられている
22. Copyright © 2024, Oracle and/or its affiliates 22 生成AIのビジネス活用の代表的ユースケース
23. Copyright © 2024, Oracle and/or its affiliates 23 • LLMベースのチャットボットは従来のものよりも 自然かつ柔軟な会話が可能 より高度なチャットボットによる顧客対応 出典：PC Watch 肌の写真などをもとに適した美容商品のアドバイスをくれるチャットボット 出典：KDDI より親切に困りごとの解決まで導いてくれるチャットボット
24. Copyright © 2024, Oracle and/or its affiliates 24 • 社内向けのチャットボットや、 Slackに統合したプロンプトなどから FAQや各種社内ナレッジを検索したり、 ヘルプデスクにリクエストを上げられる仕組みを構築 社内知識の活用の加速、効率化 出典：クラスメソッド
25. Copyright © 2024, Oracle and/or its affiliates 25 • LLMは 「文書から特定の項目を抽出する」、 「抽出した項目を決まったフォーマットに整形する」 も得意 • 例： • 手書きのメモをAI-OCRでテキスト化 →LLMがテキストを処理し、 顧客の名前、対応記録などをデータ化 • 会議音声をAI音声認識で書き起こし →LLMで議事録を作成 • 決まったフォーマット（また、構造化データ）にすることで その後のデータ活用が容易に 定型フォーマットへの抽出や非構造化データの構造化 出典：AI inside AI-OCRとLLMを組み合わせた業務効率化・高度化 出典：エス・アンド・アイ 顧客応対音声の要約
26. Copyright © 2024, Oracle and/or its affiliates 26 • サービスやアプリに組み込み、 ユーザーのコンテンツ作成をアシスト ユーザーの作成するコンテンツのアシスタント／アドバイザ 出典：はてな 出典：メルカリ 出典：ビズリーチ レジュメ（職務経歴書）作成のAIアシスト機能
27. Copyright © 2024, Oracle and/or its affiliates 27 • テキスト、キャラクター画像などのアセット、 音楽、さらには動画などを生成させてゲームやブランドで利用 クリエイティブなコンテンツの生成 出典：Ascii 出典：日本経済新聞
28. Copyright © 2024, Oracle and/or its affiliates 28 • 様々なかたちでプログラミングをLLMに補助させ 開発生産性を向上 • コードそのもの、コメントやテストの生成 • LLMに仲介させることで 自然言語でデータベースから欲しいデータを取得でき、 SQLを扱えないひともデータを扱いやすくなる プログラム、データ活用 出典：@ksonoda on Qiita 出典：GitHub
29. Copyright © 2024, Oracle and/or its affiliates 29 ビジネス活用での技術的トピックのトレンド変遷
30. Copyright © 2024, Oracle and/or its affiliates 30 生成AIがブームとなって以降、ビジネス活用を考えるうえで話題となっていた以下のトピックについて説明していく （おおよそ流行った順？） • プロンプトエンジニアリング • ファインチューニング • RAG • エージェント 生成AIのビジネス活用を考えるうえでトレンドとなった技術的トピック
31. Copyright © 2024, Oracle and/or its affiliates 31 • AI（より具体的には：LLM、モデル）に対して与える 指示をプロンプトと呼ぶ • プロンプトの内容によってAIからの回答、処理結果の質 や形式が変化する →望ましい回答、処理結果を得るためには「どのようなプ ロンプトを与えるか」は重要な要素となる • プロンプトエンジニアリングとは、望ましい結果を得るため にプロンプトを改良していくプロセスのこと プロンプトエンジニアリング 出典：エクサウィザーズ プロンプト＝AIに与える指示 • 「幸せってなんですか？」 • 「～～を翻訳してください」 回答 • 「幸せとは～～」 • 翻訳結果 LLM ユーザー、 アプリ
32. Copyright © 2024, Oracle and/or its affiliates 32 • 提供／公開されているモデルには汎用的な能力が備わっている（基盤モデル） • 一方、ビジネスの場で生成AIを用いる際、ほとんどの場合には、AIになんでもさせたいわけではなく、特定のタスクを担 わせたい • また、基盤モデルが学習しているデータには、当然その学習時点以降に発生した情報や、自社で持っている独自の情 報は含まれていない • モデルにデータを追加で学習させることによって、担当させたいタスクに必要な情報を獲得させたり、あるタスクに特化さ せた能力に仕立てていくことをファインチューニングと呼ぶ ファインチューニング 出典：@ksonoda on qiita
33. Copyright © 2024, Oracle and/or its affiliates 33 • LLMに、外部の情報源から検索したデータを取得させ、その情報をもとに回答の文章を生成させる技法 • 学習済のデータには含まれないが、タスクに必要となる情報を参照させることで補完する • 例：今日の天気や株価、経営情報やFAQなど自社の独自データ • モデルに情報を追加で獲得させるという意味では同じくファインチューニングがあるが： • 追加学習には時間もコストも大量にかかる • 「最新の情報を踏まえて回答する」「頻繁に更新がかかる情報と整合するように回答する」ような用途には適さない • RAGで参照する外部の情報源をナレッジベースと呼ぶ RAG（Retrieval-Augmented Generation、検索拡張生成） RAG アプリ ナレッジベース ユーザー ①質問 ②質問に関連する情報を検索し取得 ③質問 ＋関連情報 LLM ④関連情報を踏まえた回答
34. Copyright © 2024, Oracle and/or its affiliates 34 • LLMは基本的に「入力されたプロンプトに対して一度ごとの応答をする」ことしかやってくれない • 実践で生成AIを活用しようとすると、以下のようなニーズが生じる • ここまでの会話も踏まえて回答してほしい • 必要に応じて外部の情報源も検索（RAG）してきてほしい • 「質問→回答」以上のより複雑なタスクをやらせたい • タスクの遂行に必要なアクションを自律的に計画、実行するAIのありようを（AI）エージェントと呼ぶ • エージェントはLangChainなどの フレームワークを用いて開発したり、 クラウドサービスなどを用いたりして実装していく エージェント クラウドサービスの例：OCIのGenAI AgentsサービスのRAGエージェント機能
35. Copyright © 2024, Oracle and/or its affiliates 35 覚えておきたい課題やリスク
36. Copyright © 2024, Oracle and/or its affiliates 36 • LLMからの回答には事実にもとづかない情報（嘘）が含まれることがある • まるでAIが幻覚（hallucination）を見ているかのように自然に嘘をつくため、ハルシネーションと呼ばれる • 事実を回答するときと同様に、もっともらしく回答してくるので非常に判別しづらい • LLMは確率的な振る舞いで文章を生成するため、「同じ質問に対してたまに嘘が返ってくる」ようなことも起きる • LLMの改良の中でもハルシネーション低減が目指されているが、LLMを用いる側でもプロンプトの工夫やファインチュー ニング、RAGなどで低減を試みることが必要となる • 結果に重い責任が生じるようなユースケースでは人間にチェックさせる、最終的に人間に判断させるなどの考慮も必要 ハルシネーション 日本一高い山は 富士山です！ 2番目は北岳です！ 3番目は霧峰岳です！ それっぽい名前の架空の山 …事実に嘘が混ざるハルシネーション 日本の山で 標高の上位3つは？
37. Copyright © 2024, Oracle and/or its affiliates 37 • AIによるコンテンツ生成が権利、感情と衝突するケースがある • 例：◯◯の声に似た音声を生成、◯◯の画風に似たイラストを生成など • モデルが学習したデータには「元ネタ」が含まれている（可能性が高い）が、 特に許諾を得ているわけではない • なお、そのことはただちに著作権など法的な権利と衝突するわけではないとされている （今後、法整備や権利関係の整理が進んでいくであろう新しい領域） • こうした衝突は特にアート、エンターテイメント分野などで顕著化 • AI生成イラストに対してのSNS上での反発 • AI俳優、AI声優の使用に対しての米での俳優組合のストライキ • 背景に「AIに仕事が奪われる」不安や 「勝手に学習データにされ努力の成果をフリーライドされている」感覚 • 生成AIの利用方法やそのコンテンツの見せ方によっては、 レピュテーションの低下やファン離れなどにつながるリスクも注意 権利、感情との衝突 “EXPLOATION”は”EXPLOITATION”の誤字 ChatGPT（DALL-E3）で作成した画像 「AIによる権利侵害に抗議するデモ」
38. Copyright © 2024, Oracle and/or its affiliates 38 • LLMの利用にあたり、以下はモデルに渡す（入力する）ことになる • プロンプトに入力するテキストや画像などのデータ • ファインチューニングを行う場合、その学習に使用するデータ • RAGを行う場合、検索してきたデータ • 他のアプリやサービスなどを利用する場合と同様に、 「どのような情報を渡すか」、 「渡した先でどのように扱われるか」には要注意 • LLMをベースとしたサービスも、 ものによっては取得した情報の利用範囲や 方法が明確でなかったり、 セキュリティが担保されているか不安だったり セキュリティ＆プライバシー ユーザー 情報を 入力 情報を二次利用 不正に情報を窃取 攻撃者 提供元や 第三者 サービス
39. Copyright © 2024, Oracle and/or its affiliates 39 生成AIの今後
40. Copyright © 2024, Oracle and/or its affiliates 40 • 生成AI分野は大規模な投資を背景に高速で 進歩している • 見た目にわかりやすい向上は画像生成の分野 • 手、指の描写が目立って苦手だったが、かなり克服 • 「ラーメンを食べる◯◯」で生成させた 思いもよらないようなシュールな食べ方の画像が インターネット・ミームになったこともあったが、 普通に食べられるようになってきて終息 • 指と箸という複雑な要素が絡むのでAIには難しかったらしい • 「AI生成画像は◯◯を見れば判別できる」というテクニックも 次々と無効になり、最近では判別が非常に難しい生成画像が溢れる 日進月歩で進む生成AI分野の技術 出典：GIZMODO 出典：カラパイア
41. Copyright © 2024, Oracle and/or its affiliates 41 • 生成AI／LLMの分野では、計算資源、学習データ量、モデルパラメータ数を増やしていくとモデルの性能がべき乗則で 上がっていくというスケーリング則（Scaling Law）が知られている • あくまで観測された経験則ではあるが、（今のところは）有効である • 観測に従えばモデルを大規模にしていけばいくほど性能が向上していく • 「ハードウェア的な限界に突き当たっている」「学習用のデータが枯渇している」などの限界の訪れを指摘する声も繰り 返し出ているが、（今のところは）乗り越えてきている スケーリング則とその持続可能性 出典：Scaling Laws for Neural Language Models
42. Copyright © 2024, Oracle and/or its affiliates 42 • 昨今のLLMモデルは多くのテストで平均的な人間を超える能力を示しており、 既に科学問題のベンチマークで博士課程並みの精度を記録するモデルも登場 • 5年後にはすべての分野でLLMの知識が博士号取得者並になるという予測も • AIはより複雑なタスクを、より高い精度でこなすことができるよう進歩し続ける • AGI（人間と同等以上の汎用知能を備えたAI）、 ASI（人間を遥かに超えた知能を備えたAI）の訪れもそう遠くないかも？ • AIを使って「将来」できるようになることを想像しながら、「今」動き出そう！ AIの進化は続く 出典：ロイター
43. Thank you 43 Copyright © 2024, Oracle and/or its affiliates