生成AI、LLMのいまさら聞けないキホンのキ！/ Generative AI and LLM 101

Slide 1

Slide 1 text

生成AI、LLMのいまさら聞けないキホンのキ！ Oracle AI Jam Session #18 中村岳日本オラクル株式会社ソリューションアーキテクト部 2024年10月23日

Slide 2

Slide 2 text

Copyright © 2024, Oracle and/or its affiliates 2 中村岳 X（Twitter）、はてなブログ：@gakumura • 現職：ソリューションエンジニア@日本オラクル • 担当：Oracle Blockchain Platform、 Blockchain Table、AI関連サービス • 前職：金融決済系SIerでパッケージ開発 • SWIFT、CLS、日銀ネット関連の銀行間決済システム

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright © 2024, Oracle and/or its affiliates 6 • 生成AIブームは機械学習を基礎としており、いわゆる第3次AIブームの延長線として位置づけることができる • 一方で、第3次AIブームとは量的、質的に多くの点で異なる様相を見出し、第4次AIブームとして位置づける論も • あるいは「もはや”ブーム”ではない」とも生成AIブームは第4次AIブーム？出典：電通報出典：DBJソフトインフラレポート

Slide 7

Slide 7 text

Copyright © 2024, Oracle and/or its affiliates 7 • 第1次AIブーム（1960年代） • コンピュータが得意とする分類（パターン分け）による推論、探索が中心 • 現実世界の複雑な問題は解けず • 第2次AIブーム（1980年代） • ルールベースで専門家の業務プロセスを模倣するエキスパートシステムが中心 • ルールの記述の手間や例外処理の難しさというアプローチ的な限界と、性能的な限界につきあたる • エキスパートシステムの仕組み自体は普及し、今日でも広く使われている • 第3次AIブーム（2000年代～現在？） • 機械学習とディープラーニングを基礎として様々な実用が発展 • 将棋、囲碁などの、従来人間を破ることは難しいとされていた複雑なゲームでのAIの強さなどでも話題に • 背景にコンピュータの計算能力の向上と、扱えるデータの飛躍的な増大（ビッグデータ時代）ざっくりと振り返るこれまでのAIブーム

Slide 8

Slide 8 text

Copyright © 2024, Oracle and/or its affiliates 8 • GAN（敵対的生成ネットワーク）の提唱（2014年） • データの生成モデルと識別モデルをセットで競い合わせ訓練していくことで互いの精度を高めていく手法 • Transformerの提唱（2017年） • “Attention is all you need”：モデルがどのような情報にどの程度「注意」を向けるべきかを学習させるアプローチ • その後の生成AI技術の急激な発展の基礎となる • Google AIが言語モデルBERTをリリース（2018年） • AIの言語における文脈を理解する能力の躍進を示す • OpenAIが言語モデルGPT-2をリリース（2019年） • テキスト生成の能力の高さで注目を集める • Deepfakeの氾濫（2020年） • 入れ替えにより作成された、本物と見まごうようなニセ画像、ニセ動画が話題に • 画像生成AIが話題に（2022年）生成AIブーム前夜：いくつかのトピック

Slide 9

Slide 9 text

Copyright © 2024, Oracle and/or its affiliates 9 • テキストを入力するとそれに見合った画像を生成するモデル（text-to-imageモデル）が次々発表される • DALL-E / OpenAI社 • Midjourney / Midjourney社 • Stable Diffusion / Stability AI社 • 気軽に試しやすく、また、インパクトがある生成画像は拡散しやすいためSNS上などで話題になった画像生成AIが話題に（2022年）出典：OpenAI

Slide 10

Slide 10 text

Copyright © 2024, Oracle and/or its affiliates 10 • OpenAI社が大規模言語モデルGPT-3.5をベースとしたChatGPTを公開 • Webサイト上の対話形式で誰でもかんたんに生成AIの力を体感 • 「まるで人間のように自然な会話ができる！」 • 世界中で話題となり、瞬く間に利用が広がる ChatGPTの登場：「生成AIブーム」の到来（2022年12月）出典：ITmedia

Slide 11

Slide 11 text

Copyright © 2024, Oracle and/or its affiliates 11 • 万人が触れやすく、わかりやすいかたちで先進的な技術が提供されたことで、一気に普及 • これまでのAIブームとは桁違いの規模、早さで投資が集まり、技術が日進月歩で進化 • ビジネスでの活用も高速に進むこれまでのAIブームとの違い出典：@kylef_ on X ChatGPTのユーザー数は5日で100万人、2ヶ月で1億人に到達

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright © 2024, Oracle and/or its affiliates 15 • テキストや画像など、さまざまなコンテンツ（情報）を生成（創造）できるAI技術を指す総称 • ※あくまで総称であり厳密な定義はない • 従来型AIとの違いは？ • 従来型AIが入力された情報の整理、解析、判断、また、そこからの予測に重きを置いていたことに対して、生成AIは新しい情報を生成することに重点がある、とする説明がある • ※が、実際にはわりと境界は曖昧な気も… 生成AI（Generative AI、GenAI）とは出典：野村総合研究所

Slide 16

Slide 16 text

Copyright © 2024, Oracle and/or its affiliates 16 • 人間の「知能」による機能（とされるもの）を人工的に実現したもの？ • 時代や用いられる文脈で意味がだいぶブレるのでひとくちに説明するのは難しい… • 単にルールベースで動作するプログラムでもAIと呼ばれたり • 「人間と同等（またはそれ以上）の知的能力」が含意、期待されたり • 知能だけでなく人間のような感情がある（かのように振る舞う）ものが想像されたりそもそもAI（Artificial Intelligence、人口知能）とは？出典：Movie Walker

Slide 17

Slide 17 text

Copyright © 2024, Oracle and/or its affiliates 17 • コンピュータに大量のデータを「学習」させることで、特定のタスクについての処理を行う「モデル」を構築する技術 • モデルはデータの中のルール、パターンや関係性を発見し学習する • 構築したモデルは学習結果に基づいて判断、推論をしてタスクを処理する • モデルにデータを与え学習させることを「訓練（Training）」とも呼ぶ • AIを実装するための技術要素であり、また、構築されたモデルを指してAIと呼ぶこともある • 【余談】「～～をAIで実現します」と言うと「AIではなく機械学習と言え！」と怒られが発生する訂正されることも • 最近は少なくなった気がする…生成AI／LLMの急激な発展で人間以上の能力を発揮する場面が多くなったため？機械学習（Machine Learning、ML）とは AI：人間の「知能」による機能を人工的に実現したもの機械学習：コンピュータに大量のデータを学習させることで特定のタスクを処理するモデルを構築する技術 AIを実装するために機械学習を用いる大量のデータモデルを構築学習モデル訓練実行高速に処理大量のタスク

Slide 18

Slide 18 text

Copyright © 2024, Oracle and/or its affiliates 18 • 高度な機械学習の手法のひとつ • ざっくり言うと「与えられたデータのどこに着目して判断すべきか（→特徴量）」を人間が教えてやらなくてもモデルが勝手に見つけてくれることが特徴 • 判断基準を言語化しづらいような分野、また、複雑すぎて人間には判断にあたって着目すべき点がわからないような分野でも効果的なモデルを構築しやすい • 判断基準を言語化しづらい分野の例：画像認識や音声認識 • 人間には複雑すぎる例：将棋、囲碁などの高度な頭脳ゲームディープラーニングとは機械学習ディープラーニング：高度な機械学習の手法ディープラーニングモデル着目すべき点、判断基準を自身で発見し学習学習データ

Slide 19

Slide 19 text

Copyright © 2024, Oracle and/or its affiliates 19 大規模言語モデルとは大規模な言語モデルです ——（終）—— ・・・ • 言語モデル • 言語データを学習し、ある単語の後に続く単語が、どのくらいの確率で出現するかを予測するモデル • 大規模 • 機械学習に使用したデータ量が大きい • 学習、推論に使用されるコンピュータの計算量が大きい • ディープラーニングのモデルのパラメータ数が大きい • 言語モデルが大規模になることで… • 文脈を踏まえた文章の解釈（理解）、より自然な文章の生成が可能に • より幅広いタスクに対応できる様々な能力が発現（創発） LLM（Large Language Model、大規模言語モデル）とはよろしくねお願い。 10％ 5％ 70％

Slide 20

Slide 20 text

Copyright © 2024, Oracle and/or its affiliates 20 • 生成AIはテキスト、画像、動画、音声などの情報を生成するAI技術の総称であり、自然言語処理を行うLLMだけには限らない • が、「生成AI」と呼ばれるものは、LLMそのものを指している、あるいはLLMを基盤として用いているものが多い • 人間となんらかのかたちで言語をやりとりさせるため • GPT-4やClaude 3など、言語データ以外にも画像や音声などを学習し、それらの入力、生成に対応する能力を備えているモデル（マルチモーダルモデル）もあるが、それらも単にLLMと呼ばれることが多い • 人間とのコミュニケーションでは言語が最も重視されるため？ • 汎用的な能力を備えたモデルを指して「基盤モデル（ファウンデーションモデル）」という呼称もある「生成AI」と「LLM」の関係生成AI：情報を生成するAI技術の総称 LLM：言語の解釈、生成などを行う大規模なモデル LLMを含む、基盤として用いる

Slide 21

Slide 21 text

ざっくり用語まとめの図 Copyright © 2024, Oracle and/or its affiliates 21 AI：人間の「知能」による機能を人工的に実現したもの機械学習：コンピュータに大量のデータを学習させることで特定のタスクを処理するモデルを構築する技術 AIを実装するために機械学習を用いるディープラーニング：高度な機械学習の手法生成AI：情報を生成するAI技術の総称 LLM：言語の解釈、生成などを行う大規模なモデル LLMを含む、基盤として用いるいち分野として含む LLM構築にはディープラーニングが用いられている

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Copyright © 2024, Oracle and/or its affiliates 25 • LLMは「文書から特定の項目を抽出する」、「抽出した項目を決まったフォーマットに整形する」も得意 • 例： • 手書きのメモをAI-OCRでテキスト化 →LLMがテキストを処理し、顧客の名前、対応記録などをデータ化 • 会議音声をAI音声認識で書き起こし →LLMで議事録を作成 • 決まったフォーマット（また、構造化データ）にすることでその後のデータ活用が容易に定型フォーマットへの抽出や非構造化データの構造化出典：AI inside AI-OCRとLLMを組み合わせた業務効率化・高度化出典：エス・アンド・アイ顧客応対音声の要約

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Copyright © 2024, Oracle and/or its affiliates 28 • 様々なかたちでプログラミングをLLMに補助させ開発生産性を向上 • コードそのもの、コメントやテストの生成 • LLMに仲介させることで自然言語でデータベースから欲しいデータを取得でき、 SQLを扱えないひともデータを扱いやすくなるプログラム、データ活用出典：@ksonoda on Qiita 出典：GitHub

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Copyright © 2024, Oracle and/or its affiliates 31 • AI（より具体的には：LLM、モデル）に対して与える指示をプロンプトと呼ぶ • プロンプトの内容によってAIからの回答、処理結果の質や形式が変化する →望ましい回答、処理結果を得るためには「どのようなプロンプトを与えるか」は重要な要素となる • プロンプトエンジニアリングとは、望ましい結果を得るためにプロンプトを改良していくプロセスのことプロンプトエンジニアリング出典：エクサウィザーズプロンプト＝AIに与える指示 • 「幸せってなんですか？」 • 「～～を翻訳してください」回答 • 「幸せとは～～」 • 翻訳結果 LLM ユーザー、アプリ

Slide 32

Slide 32 text

Copyright © 2024, Oracle and/or its affiliates 32 • 提供／公開されているモデルには汎用的な能力が備わっている（基盤モデル） • 一方、ビジネスの場で生成AIを用いる際、ほとんどの場合には、AIになんでもさせたいわけではなく、特定のタスクを担わせたい • また、基盤モデルが学習しているデータには、当然その学習時点以降に発生した情報や、自社で持っている独自の情報は含まれていない • モデルにデータを追加で学習させることによって、担当させたいタスクに必要な情報を獲得させたり、あるタスクに特化させた能力に仕立てていくことをファインチューニングと呼ぶファインチューニング出典：@ksonoda on qiita

Slide 33

Slide 33 text

Copyright © 2024, Oracle and/or its affiliates 33 • LLMに、外部の情報源から検索したデータを取得させ、その情報をもとに回答の文章を生成させる技法 • 学習済のデータには含まれないが、タスクに必要となる情報を参照させることで補完する • 例：今日の天気や株価、経営情報やFAQなど自社の独自データ • モデルに情報を追加で獲得させるという意味では同じくファインチューニングがあるが： • 追加学習には時間もコストも大量にかかる • 「最新の情報を踏まえて回答する」「頻繁に更新がかかる情報と整合するように回答する」ような用途には適さない • RAGで参照する外部の情報源をナレッジベースと呼ぶ RAG（Retrieval-Augmented Generation、検索拡張生成） RAG アプリナレッジベースユーザー ①質問 ②質問に関連する情報を検索し取得 ③質問＋関連情報 LLM ④関連情報を踏まえた回答

Slide 34

Slide 34 text

Copyright © 2024, Oracle and/or its affiliates 34 • LLMは基本的に「入力されたプロンプトに対して一度ごとの応答をする」ことしかやってくれない • 実践で生成AIを活用しようとすると、以下のようなニーズが生じる • ここまでの会話も踏まえて回答してほしい • 必要に応じて外部の情報源も検索（RAG）してきてほしい • 「質問→回答」以上のより複雑なタスクをやらせたい • タスクの遂行に必要なアクションを自律的に計画、実行するAIのありようを（AI）エージェントと呼ぶ • エージェントはLangChainなどのフレームワークを用いて開発したり、クラウドサービスなどを用いたりして実装していくエージェントクラウドサービスの例：OCIのGenAI AgentsサービスのRAGエージェント機能

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Copyright © 2024, Oracle and/or its affiliates 36 • LLMからの回答には事実にもとづかない情報（嘘）が含まれることがある • まるでAIが幻覚（hallucination）を見ているかのように自然に嘘をつくため、ハルシネーションと呼ばれる • 事実を回答するときと同様に、もっともらしく回答してくるので非常に判別しづらい • LLMは確率的な振る舞いで文章を生成するため、「同じ質問に対してたまに嘘が返ってくる」ようなことも起きる • LLMの改良の中でもハルシネーション低減が目指されているが、LLMを用いる側でもプロンプトの工夫やファインチューニング、RAGなどで低減を試みることが必要となる • 結果に重い責任が生じるようなユースケースでは人間にチェックさせる、最終的に人間に判断させるなどの考慮も必要ハルシネーション日本一高い山は富士山です！ 2番目は北岳です！ 3番目は霧峰岳です！それっぽい名前の架空の山 …事実に嘘が混ざるハルシネーション日本の山で標高の上位3つは？

Slide 37

Slide 37 text

Copyright © 2024, Oracle and/or its affiliates 37 • AIによるコンテンツ生成が権利、感情と衝突するケースがある • 例：◯◯の声に似た音声を生成、◯◯の画風に似たイラストを生成など • モデルが学習したデータには「元ネタ」が含まれている（可能性が高い）が、特に許諾を得ているわけではない • なお、そのことはただちに著作権など法的な権利と衝突するわけではないとされている（今後、法整備や権利関係の整理が進んでいくであろう新しい領域） • こうした衝突は特にアート、エンターテイメント分野などで顕著化 • AI生成イラストに対してのSNS上での反発 • AI俳優、AI声優の使用に対しての米での俳優組合のストライキ • 背景に「AIに仕事が奪われる」不安や「勝手に学習データにされ努力の成果をフリーライドされている」感覚 • 生成AIの利用方法やそのコンテンツの見せ方によっては、レピュテーションの低下やファン離れなどにつながるリスクも注意権利、感情との衝突 “EXPLOATION”は”EXPLOITATION”の誤字 ChatGPT（DALL-E3）で作成した画像「AIによる権利侵害に抗議するデモ」

Slide 38

Slide 38 text

Copyright © 2024, Oracle and/or its affiliates 38 • LLMの利用にあたり、以下はモデルに渡す（入力する）ことになる • プロンプトに入力するテキストや画像などのデータ • ファインチューニングを行う場合、その学習に使用するデータ • RAGを行う場合、検索してきたデータ • 他のアプリやサービスなどを利用する場合と同様に、「どのような情報を渡すか」、「渡した先でどのように扱われるか」には要注意 • LLMをベースとしたサービスも、ものによっては取得した情報の利用範囲や方法が明確でなかったり、セキュリティが担保されているか不安だったりセキュリティ＆プライバシーユーザー情報を入力情報を二次利用不正に情報を窃取攻撃者提供元や第三者サービス

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Copyright © 2024, Oracle and/or its affiliates 40 • 生成AI分野は大規模な投資を背景に高速で進歩している • 見た目にわかりやすい向上は画像生成の分野 • 手、指の描写が目立って苦手だったが、かなり克服 • 「ラーメンを食べる◯◯」で生成させた思いもよらないようなシュールな食べ方の画像がインターネット・ミームになったこともあったが、普通に食べられるようになってきて終息 • 指と箸という複雑な要素が絡むのでAIには難しかったらしい • 「AI生成画像は◯◯を見れば判別できる」というテクニックも次々と無効になり、最近では判別が非常に難しい生成画像が溢れる日進月歩で進む生成AI分野の技術出典：GIZMODO 出典：カラパイア

Slide 41

Slide 41 text

Copyright © 2024, Oracle and/or its affiliates 41 • 生成AI／LLMの分野では、計算資源、学習データ量、モデルパラメータ数を増やしていくとモデルの性能がべき乗則で上がっていくというスケーリング則（Scaling Law）が知られている • あくまで観測された経験則ではあるが、（今のところは）有効である • 観測に従えばモデルを大規模にしていけばいくほど性能が向上していく • 「ハードウェア的な限界に突き当たっている」「学習用のデータが枯渇している」などの限界の訪れを指摘する声も繰り返し出ているが、（今のところは）乗り越えてきているスケーリング則とその持続可能性出典：Scaling Laws for Neural Language Models

Slide 42

Slide 42 text

Copyright © 2024, Oracle and/or its affiliates 42 • 昨今のLLMモデルは多くのテストで平均的な人間を超える能力を示しており、既に科学問題のベンチマークで博士課程並みの精度を記録するモデルも登場 • 5年後にはすべての分野でLLMの知識が博士号取得者並になるという予測も • AIはより複雑なタスクを、より高い精度でこなすことができるよう進歩し続ける • AGI（人間と同等以上の汎用知能を備えたAI）、 ASI（人間を遥かに超えた知能を備えたAI）の訪れもそう遠くないかも？ • AIを使って「将来」できるようになることを想像しながら、「今」動き出そう！ AIの進化は続く出典：ロイター