生成AIキャッチアップ会__生成AIと共に働くために個人と組織の視点から_.pdf

Transcript

1. 生成AIキャッチアップ会 〜 生成AIと共に働くために個人と組 織の視点から〜
2. 今日話すこと 1. AIの歴史と技術の進化を「簡単に」振り返る (20分) ◦ AI > ML/DL > Transformer > GPT-n 2. 生成AIの基礎的な知識の学び方: (10分) ◦ JDLA(日本ディープラーニング協会) Generative AI Testより 3. 生成AIを業務で使う際に組織として押さえるべきこと: (10分) ◦ JDLA 生成AIの利用ガイドライン より 生成AIやLLMを個人・組織が活用するにあたり、 ベースとなる知識を付けるための一助になれば
3. AIの歴史と技術の進化を 「簡単に」振り返る
4. 免責事項 • 時間の都合上かなり端折った内容になります • あくまで大枠で流れを捉えることを目的としています ◦ 数ヶ月業務外で学んだ内容のため不十分な箇所が多くあると思います ◦ 端的に言えば、解像度の高くない内容になっています ◦ その分「生成AI よくわからん」 な方々にはおそらくフレンドリーな内容となっております ◦ 詳細は後述の参考資料もご参照ください
5. AIの起源 • Artificial Intelligence(人工知能) • 1956年のダートマス会議にて初めて使われた • 言葉の定義 ◦ 定まったものはない ◦ 「人間が行う知的な行為 を機械的に実現 させるため技術や取り組み 」
6. 年表 https://active.nikkeibp.co.jp/atcl/act/19/00522/101000003/ ルールベースのAI 機械学習ベースの AI ⭐今はこっち
7. 全体像 「生成AI時代を勝ち抜く事業・組織の使い方」より
8. 全体像 「生成AI時代を勝ち抜く事業・組織の使い方」より ⭐ ⭐
9. 機械学習ベースの AI とは • 大量のデータを基に 良い関数を見つけ出し（学習） それを活用する（推論）
10. 機械学習ベースの AIを作ってみる • 「部屋の広さから賃料を予測する」AIを作ってみます ◦ 作り方: 大量のデータを基に良い関数を見つけ出す 広さ(m2) 賃料(万円) 61.2 16.5 64.4 19.6 54.7 11.4 50.1 12 55.45 13.5 61.34 15.6 76.11 19.2 68.92 16.92 66.6 16.6 65.66 17 埼玉県 志木市駅 駅徒歩10分 築10年以内 (summo)
11. 機械学習ベースの AIを作ってみる • 「部屋の広さから賃料を予測する」AIを作ってみます ◦ 作り方: 大量のデータを基に良い関数を見つけ出す 広さ(m2) 賃料(万円) 61.2 16.5 64.4 19.6 54.7 11.4 50.1 12 55.45 13.5 61.34 15.6 76.11 19.2 68.92 16.92 66.6 16.6 65.66 17 埼玉県 志木市駅 駅徒歩10分 築10年以内
12. 機械学習ベースの AIを作ってみる • 「部屋の広さから賃料を予測する」AIを作ってみます ◦ 作り方: 大量のデータを基に良い関数を見つけ出す 広さ(m2) 賃料(万円) 61.2 16.5 64.4 19.6 54.7 11.4 50.1 12 55.45 13.5 61.34 15.6 76.11 19.2 68.92 16.92 66.6 16.6 65.66 17 埼玉県 志木市駅 駅徒歩10分 築10年以内
13. 機械学習ベースの AIを作ってみる • 「部屋の広さから賃料を予測する」AIができました！ ◦ y = f(x) = 0.314 * x - 3.8 ◦ 実際使ってみる ▪ 部屋の広さが65m2なら...? ▪ 0.314 * 65 - 3.8 = 16.61 万円
14. • 他のAIと比較してみる これは本当に AIなのか？ 「日本の首都は？」 「東京です。」 部屋の広さから 家賃を予測する AI 猫: 99% 犬: 1% 65 16.61
15. • コンピュータの気持ちになってみる これは本当に AIなのか？ 文字コード の組み合わせ = 数値 部屋の広さから 家賃を予測する AI 65 16.61 RGB値の組み 合わせ = 数値 確率の組み合 わせ = 別の数値 別の文字コードの 組み合わせ = 別の数値
16. • コンピュータの気持ちになってみる これは本当に AIなのか？ 文字コード の組み合わせ = 数値 部屋の広さから 家賃を予測する AI 65 16.61 RGB値の組み 合わせ = 数値 別のRGB値の 組み合わせ = 別の数値 別の文字コードの 組み合わせ = 別の数値 数値を別の数値に変換している という意味で全て同じ
17. • コンピュータの気持ちになってみる これは本当に AIなのか？ 文字コード の組み合わせ = 数値 部屋の広さから 家賃を予測する AI 65 16.61 RGB値の組み 合わせ = 数値 別のRGB値の 組み合わせ = 別の数値 別の文字コードの 組み合わせ = 別の数値 数値を別の数値に変換する = 関数
18. これは本当に AIなのか？ ChatGPTもそう言ってる
19. • 大量のデータを基に良い関数を見つけ出し（学習）それを活用する（推論） 改めて機械学習ベースの AIとは とんでもなく複雑な関数f’(x) 部屋の広さから 家賃を予測する AI 複雑な 関数 f(x) y = f(x) = 0.314 * x - 3.8
20. 前半終了 前半のまとめ AI ≒ 関数、数式
21. 後半の前に ... • 機械学習における 「モデル」と「学習」と「パラメーター」
22. • モデル ≒ 関数 or 関数を作り出す仕組み 機械学習における「モデル」 線形回帰モデル
23. • モデル ≒ 関数 or 関数を作り出す仕組み • モデルは以下の2つから構成される ◦ どんな関数を使うか？ ▪ 例: y = ax + b ◦ その関数を使って どのように目的の関数を見つけるか？ ▪ 例: 評価指標を用意し、 一番結果が良くなるように、 a, b を調整する 機械学習における「モデル」 線形回帰モデル
24. • モデル = 関数 or 関数を作り出す仕組み • モデルは以下2つから構成される ◦ どんな関数を使うか？ ▪ 例: y = ax + b ◦ その関数を使って どのように目的の関数を見つけるか？ ▪ 例: 評価指標を用意し、 一番結果が良くなるように、 a, b を調整する 機械学習における「学習」 これがいわゆる 学習 線形回帰モデル
25. • モデル = 関数 or 関数を作り出す仕組み • モデルは以下2つから構成される ◦ どんな関数を使うか？ ▪ 例: y = ax + b ◦ その関数を使って どのように目的の関数を見つけるか？ ▪ 例: 評価指標を用意し、 一番結果が良くなるように、 a, b を調整する 機械学習における「パラメーター」 このa, bを パラメーターと呼 ぶ 線形回帰モデル
26. 閑話休題
27. 全体像 「生成AI時代を勝ち抜く事業・組織の使い方」より ⭐
28. どんな関数が必要？ 「日本の首都は？」 「東京です。」 部屋の広さから 家賃を予測する AI 猫: 99% 犬: 1% 65 16.61
29. どんな関数が必要？ • 複雑性 ◦ 画像を分類できたり、 質問に適切に回答できるくらい複雑な関数 • 計算可能性 ◦ コンピューターの手に負える程度の複雑さ 「日本の首都は？」 「東京です。」 「猫」
30. どんな関数が必要？ • 複雑性 ◦ 画像を分類できたり、 質問に適切に回答できるくらい複雑な関数 • 計算可能性 ◦ コンピューターの手に負える程度の複雑さ 「日本の首都は？」 「東京です。」 「猫」 少ないパラメーターで、 複雑な関数を作りたい
31. DeepLearning • 機械学習のモデル(≒関数を作り出す仕組み) • (ざっくり)以下の2つの特徴により、 少ないパラメーターで複雑な関数を作り出せる ◦ 関数を深くする(≒関数を合成する) ◦ それぞれの関数は線形と非線形を組み合わせたもの
32. 多くの分野で成果を残した • 画像認識: ImageNetコンペティションでのAlexNet、ResNetの成功 • ゲームAI: AlphaGoが人間のトッププロを打ち負かす • 自然言語処理: Word2Vecが類似単語検索や文書分類を改善 • 音声認識: GoogleやMicrosoftのシステムが高い認識精度を達成 • 医療診断: 画像診断での病変検出精度の向上 DeepLearningの成果 参考：Stochastic Reconstruction of an Oolitic Limestone by Generative Adversarial Networks 参考：Understanding LSTM Networks
33. DeepLearningの課題 自然言語処理のように「データの順番」が重要な分野では課題が残っていた。 • 長い文章では過去の文脈を十分に捉えることが難しく、 学習に時間がかかる。 • LSTMなどのモデルである程度解決されたものの、 まだ十分ではなかった。 参考：Understanding LSTM Networks
34. DeepLearningの課題 自然言語処理のように「データの順番」が重要な分野では課題が残っていた。 • 長い文章では過去の文脈を十分に捉えることが難しく、 学習に時間がかかる。 • RNNやLSTMなどのモデルである程度解決されたものの、 まだ十分ではなかった。 参考：Understanding LSTM Networks この問題を解決するモデルが登場し、 そこから生成AIへと繋がっていく
35. 全体像 「生成AI時代を勝ち抜く事業・組織の使い方」より ⭐ Transformer ⭐
36. Transformer • 機械翻訳分野におけるDeepLearningのモデルで、RNNの課題を解決した • RNNと異なりAttention機構を中心に構成されている ◦ 代表的な論文: "Attention is All You Need" (2017) ◦ Attention機構: 文の中の各単語が他の単語とどの程度関連しているかをスコアリングする https://jinglescode.github.io/2020/05/27/illustrated-guide-transformer/
37. Transformerの強い点 • 文章の長さによらず注目すべき情報をうまく選べる ◦ 長い文章でも過去の文脈を十分に捉えることができる • 並列処理ととても相性が良い ◦ GPU等を使うことで学習にかかる時間が短くて済む https://jalammar.github.io/illustrated-transformer/
38. Transformerから汎用的な AIへ • Transformerは機械翻訳のためのAI ◦ Transformer以前のDeepLearningモデルは、 多くの場合特定のタスクに最適化されていた。 • 以降Transformerをベースにして、 自然言語処理等のさまざまな分野で 「汎用的なタスクを処理するAI」 が発展していった。 https://factored.ai/transformer-based-language-models/
39. 全体像 「生成AI時代を勝ち抜く事業・組織の使い方」より Transformer ⭐
40. 全体像 「生成AI時代を勝ち抜く事業・組織の使い方」より Transformer GPT-n ⭐
41. GPT-n • Transformerベースに作られた言語モデル ◦ 言語モデル≒ 次単語予測機 • GPT-1からGPT-2、GPT-3へと進化する中で、 自然言語処理におけるより汎用的なタスクをこなせるようになっていった ◦ ChatGPTのようなAIの誕生に繋がる
42. GPT1(Generative Pre-trained Transformer) • Transformerをベースにしたモデル • 色々なタスクを1つのモデルで解いた ◦ これまで: タスクに合わせてモデルを設計 ◦ GPT: 1つのモデルで対応可能 • GPTが示したこと ◦ Transfomerはすごい！ データとモデルサイズ (≒ パラメータ数) をあげればあげるほど精度が上がる ◦ Pre-training と Fine tuning がすごい
43. GPT1(Generative Pre-trained Transformer) • Transformerをベースにしたモデル • 色々なタスクを1つのモデルで解いた ◦ これまで: タスクに合わせてモデルを設計 ◦ GPT: 1つのモデルで対応可能 • GPTが示したこと ◦ Transfomerはすごい！ データとモデルサイズ (≒ パラメータ数) をあげればあげるほど精度が上がる ◦ Pre-training と Fine tuning がすごい
44. Pre-training と Fine Tuning • Pre-training: (教師なしの)大規模データを用いて言語を学習したモデルを作る • Fine Tuning: 特定のタスクに合わせた少量の(教師ありの)データを用いて追加学習する。 ◦ 1000件程度の教師付きデータを用意すればさまざまなタスクに対応できるようになった Pre-training Fine-tuning
45. GPT-2 • GPTによって... ◦ 事前学習済みのモデルを用意すれば、 少しのデータを使った追加学習で色々なタスクに 対応できるようになった ◦ でも1000件くらいはほしい。大変。 ◦ めんどくさいから、 事前学習済みモデルだけでなんとかできない？ ◦ GPTをさらに大きくしていったら？ => できた！ • GPT-2の成果 ◦ まだまだだけど、そこそこ結果が出た。 ◦ この方向性まだまだいけるんじゃね -> GPT3へ
46. GPT-2 • GPTによって... ◦ 事前学習済みのモデルを用意すれば、 少しのデータを使った追加学習で色々なタスクに 対応できるようになった ◦ でも1000件くらいはほしい。大変。 ◦ めんどくさいから、 事前学習済みモデルだけでなんとかできない？ ◦ GPTをさらに大きくしていったら？ => できた！ • GPT-2の成果 ◦ まだまだだけど、そこそこ結果が出た。 ◦ この方向性まだまだいけるんじゃね -> GPT3へ
47. GPT-3 • さらにさらにデータ、モデルを大きくした • それまでpre-training&fine-tuningでは 1000件程度のデータ＆追加学習が必要だった • GPT-3では ◦ 数件のデータを事前学習済みのモデルに渡すだけで OK(few shot learning) ◦ なんなら1件(one shot learning) ◦ もっと言うと0件でもいける(zero shot learning)
48. GPT-3 • さらにさらにデータ、モデルを大きくした • それまでpre-training&fine-tuningでは 1000件程度のデータ＆追加学習が必要だった • GPT-3では ◦ 数件のデータを事前学習済みのモデルに渡すだけで OK(few shot learning) ◦ なんなら1件(one shot learning) ◦ もっと言うと0件でもいける(zero shot learning)
49. その後 • InstructGPT, GPT-3.5, Chat-GPT, GPT-4, … ◦ 割愛 • 汎用的なタスクをこなす生成AIが一般的に浸透していった
50. 後半のまとめ
51. 全体のまとめ • 現代のAIは機械学習ベースで ≒ 関数 • 「良い関数」を作れるモデルとしてDeepLearningが登場し、 各方面で大きな成果を残した • DeepLearningのモデルとして Transformer が現れ、 機械翻訳の分野で大きな進歩があった • Transformerは非常に優れており （≒大規模モデル化に耐えうるポテンシャルがあり） GPT-nのようなTransformerベースの汎用的なタスクを処理できる AIが誕生した
52. 参考資料 • AI/生成AI全般 ◦ 書籍 ▪ 生成AIで世界はこう変わる ▪ 大規模言語モデルは新たな知能か ▪ 生成AI時代を勝ち抜く組織・企業の作り方 ◦ 動画 ▪ AIってなに? AIの「本質」を理解すれば恐ろしさがわかる
53. 参考資料 • 機械学習/DeepLearning ◦ 書籍 ▪ ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 ◦ 動画 ▪ ディープラーニングの世界 • ディープラーニングとは関数近似器である • 学習 - なぜ必要なのか？何をするのか？ • 関数 - なぜ「深さ」が AI を生み出しているのか？
54. 参考資料 • Transformer ◦ 書籍 ▪ 生成AIで世界はこう変わる ▪ 生成AI時代を勝ち抜く組織・企業の作り方 ◦ 動画 ▪ ディープラーニングの世界 • Transformer - Multi-Head Attentionを理解してやろうじゃないの • 忙しい人のための Transformer と Multi-Head Attention ▪ 3Blue1Brown • GPTとは何か Transformerの視覚化 • GPT解説2 アテンションの仕組み (Attention, Transformer) ◦ 講座 ▪ Transformerを詳しく学ぼう！ -PyTorchで実装するAttention、Transformer-
55. 参考資料 • GPT ◦ 書籍 ▪ 生成AIで世界はこう変わる ▪ 生成AI時代を勝ち抜く組織・企業の作り方 ◦ 動画 ▪ ディープラーニングの世界 • GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイムシフト • GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み • GPT-3 ①-1 モデルと Sparse Transformer について • GPT-3 ①-2 追加学習なしでタスクに対応する仕組み • GPT-3 ② 限界と今後の研究テーマ ▪ 生成AI ChatGPTって何？仕組みからわかる「真の恐ろしさ」
56. 生成AIの基礎的な知識の学び方 ~ JDLA Generative AI Testより~
57. JDLA Generative AI Test • JDLA Generative AI Test を受けてきました • 基礎を抑えるにはちょうど良い試験だと思ったので紹介します。 ◦ JDLAのサイト
58. • 書籍を読む • 色々動画を見てみる • Generative AI Testの例題・過去問(公式) を解いてみる • 非公式の問題集サイトで例題を解いてみる 勉強方法
59. JDLA Generative AI Test まとめ • 気楽に受けることができる(試験時間20分 & 20問) • その割に 「生成AIの試験」と言うことでなんとなく見栄えが良い • 生成AI活用にあたり、 最低限押さえておくべき知識の範囲を知ることができる
60. 生成AIを業務で使う際に組織とし て押さえるべきこと ~ JDLA 生成AIの利用ガイドラインより~
61. 組織で生成 AIを活用する際の懸念 • 生成AIの便利さは多くの人が実感しているが、 業務利用には懸念があると感じる方がいるかもしれない ◦ 特に組織のマネジメントに携わる方やフリーランスの方にとって重要な話 • 主な懸念の例： ◦ 入力データのセキュリティや管理 ▪ 個人情報や機密情報の漏洩リスク ▪ 著作権の問題：他人の著作物の利用とその影響 ◦ 出力 ▪ 生成AIが出力する情報の信頼性 ▪ 法的責任：生成AIの出力に対する責任の所在
62. 組織で生成 AIを活用する際の課題 • 生成AIの便利さは多くの人が実感しているが、 業務利用には懸念があると感じる方がいるかもしれない ◦ 特に組織のマネジメントに携わる方やフリーランスの方にとって重要な話 • 主な懸念の例： ◦ 入力データのセキュリティや管理 ▪ 個人情報や機密情報の漏洩リスク ▪ 著作権の問題：他人の著作物の利用とその影響 ◦ 出力 ▪ 生成AIが出力する情報の信頼性 ▪ 法的責任：生成AIの出力に対する責任の所在 これらの懸念を解消することで、 組織として安心して生成AIを推進できる
63. JDLA 生成AIの利用ガイドライン • JDLA が生成AIの利用ガイドライン を公開しています ◦ 生成AIの利用ガイドライン • 生成AIの業務利用指針として参考になる内容なので紹介します ◦ こちらをベースに自組織用のガイドラインを作成する、 または個人として押さえておくことで、業務利用の懸念を解消できると思います ◦ 専門家がまとめた内容を参考にすることで、より安心して生成 AIを活用できると思います • また実例として、弊社でのガイドライン作成＆運用の状況を共有します
64. ガイドラインの要約 • ガイドラインの対象 ◦ 生成AIは当該AIサービスの構造や処理内容によって法的リスクが異なる ◦ 業務のために生成AIの利用を許可する場合には、ホワイトリスト方式（利用してよいサービスを特 定した上で列挙する方式）で指定することをお勧めします。
65. ガイドラインの要約 • ガイドラインの対象 ◦ 生成AIは当該AIサービスの構造や処理内容によって法的リスクが異なる ◦ 業務のために生成AIの利用を許可する場合には、ホワイトリスト方式（利用してよいサービスを特 定した上で列挙する方式）で指定することをお勧めします。
66. ガイドラインの要約 • ガイドラインの構成 「日本の首都は？」 「東京です。」
67. ガイドラインの要約 • データ入力に際して注意すべき事項 ◦ 第三者が著作権を有しているデータ（他人が作成した文章等） ◦ 登録商標・意匠（ロゴやデザイン） ◦ 著名人の顔写真や氏名 ◦ 個人情報 ◦ 他社から秘密保持義務を課されて開示された秘密情報 ◦ 自組織の機密情報
68. ガイドラインの要約 • 生成物を利用するに際して注意すべき事項 ◦ 生成物の内容に虚偽が含まれている可能性がある ◦ 生成物を利用する行為が誰かの既存の権利を侵害する可能性がある ◦ 生成物について著作権が発生しない可能性がある ◦ 生成物を商用利用できない可能性がある ◦ 生成AIのポリシー上の制限に注意する
69. 弊社でのガイドライン作成 • Google DocumentやGoogleサイトを用いて作成 ◦ 利用サービス毎にガイドラインを作成 (ChatGPT&Github Copilot) • 構成は JDLA ガイドラインをほぼそのまま流用 • 中身はJDLA ガイドラインを引用しつつ、 補足説明を加える構成
70. 弊社でのガイドライン運用 • 運用面は以下の形で開始(始めたばかりで試行錯誤中) ◦ 新入社員のオンボーディングプロセスで活用 ◦ 社内の全体会等で内容の解説を実施 • 組織としてはルールを定めたことで、 自信を持って生成AI推進できるようになった ◦ 他の生成AIの活用を検討する際にも、 その可否を判断する尺度を得た • ただ実際の効果に関しては、 (運用開始直後ということもあり)未知数 今後も検証が必要
71. まとめ • 生成AIは便利だが、業務において活用するならルールを決める必要はある • JDLA がガイドラインを公開してくれているため、 そちらをベースに組織内のルールを作成すれば、 ある程度必要な内容を網羅できそう • 実際に作成&運用することで、 今後生成AIを推進するための基盤が得られた
72. 今日話したこと (振り返り) 1. AIの歴史と技術の進化を「簡単に」振り返る (20分) ◦ AI > ML/DL > Transformer > GPT-n、LLM(大規模言語モデル) 2. 生成AIの基礎的な知識の学び方: (10分) ◦ JDLA(日本ディープラーニング協会) Generative AI Testより 3. 生成AIを業務で使う際に組織として押さえるべきこと: (10分) ◦ JDLA 生成AIの利用ガイドライン より 生成AIやLLMを個人・組織が活用するにあたり、 ベースとなる知識を付けるための一助になれば
73. ご清聴ありがとうございました。