ソフトウェアエンジニアから見た生成AIによる変化

ソフトウェアエンジニアの私の視点から何ができるのかや将来の展望をビジネス向けに解説しています。

Transcript

1. ソフトウェアエンジニア から見た生成AIによる変化 株式会社クラウドワークス 土屋 貴大 2024/06/27
2. はじめに
3. 私見によるものが含まれているので多少のバイアスが あることをご理解ください。 CHECK ! 広く領域の内容になっているため、言葉足らずのところ や詳細はわかりかねるケースがあります。 不明点や気になったことがあれば、都度止めていただ いて問題ないです。 はじめに
4. 自己紹介
5. グミが好き ウマ娘、競馬が好き テクノロジーの仕組みを知るのが好き ソフトウェアエンジニア(何でも屋) 朝起きれない 静岡県静岡市在住(出身) 株式会社クラウドワークス 土屋 貴大(つちや たかひろ) 自己紹介
6. バックグラウンド 上場ベンチャー 07 外資 06 スタートアップ 05 受託開発 04 SES 03 社内SE 02 工場勤務 01 自己紹介
7. 情報収集方法 The Wall Street journal 07 YouTube 06 X(ブログ) 05 エンジニアカンファ レンス 04 外国の書籍 03 日本の書籍 02 外国の書籍の翻訳 01 自己紹介
8. AI副業診断 AIアプリケーションの開発 自己紹介
9. 本セミナーの目的
10. テクノロジーからビジネスモデルを考えれるようになる POINT 03 技術の背景と限界を理解しできることを探れるようになる POINT 02 全体像を俯瞰して変化やトレンドをウォッチできるようになる POINT 01 本セミナーの目的
11. 07 私たちは生成AIとどう向き合うべきか 06 ミクロからみた変化 05 マクロからみた変化 04 主要なプレイヤー 03 生成AIの仕組み 02 ChatGPTは何が新しいのか 01 ChatGPT以前の歴史 目次
12. 01. ChatGPT以前の歴史
13. 1950年代 ~ 1960年代 第一次AIブーム 「推論と探索」 1980年代 ~ 1990年代 第二次AIブーム 「エキスパートシステム」 2006年 ~ 2022年 第三次AIブーム前期 「学習と推論」「ニューラルネットワーク」 2023年 ~現在 第三次AIブーム後期 「AGI」 01. ChatGPT以前の歴史
14. しかし実用化には至らず 4 計算を効率化する理論面の不足 3 チェスやオセロのようなゴールが決まっているものにしか使えな い 2 しらみつぶしに可能な道のりのパターンを調べる方法 1 第一次AIブーム「推論と探索」 01. ChatGPT以前の歴史
15. 第二次AIブーム「エキスパートシステム」 過去のものにしか適用できない 3 電車の経路探索やエレベータの制御などルールが決 まっているものに実用された 2 専門家の知識を引き出し、ひたすらコンピュータに入 力して行く 1 01. ChatGPT以前の歴史
16. 第三次AIブーム初期「学習と推論」 01. ChatGPT以前の歴史 学習器 ax+b 推論器 2x+3 モデル 学習 推論 アメリカの大統領は？ 2024年のダービー馬は？ ... ジョー・バイデン ダノンデサイル ... 日本の首相は？ 岸田文雄 aとb(パラメーター)を調整する
17. 第三次AIブーム初期「ニューラルネットワーク」 人間の脳神経回路を模したアルゴリズムです。 図では犬と人である 確率を計算しています。 01. ChatGPT以前の歴史
18. 02. ChatGPTは何が新しいのか
19. 創造性を持った応答ができるようになった POINT 03 自然言語で会話で一定の水準に達した POINT 02 AGI(Artificial General Intelligence) POINT 01 02. ChatGPTは何が新しいのか
20. 翻訳、要約、応答、生成などあらゆ るタスクに対応 AGI(Artificial General Intelligence) 同じインターフェースでアクセスでき る 02. ChatGPTは何が新しいのか
21. 自然言語で会話で一定の水準に達した 会話の不自然さが少ない メッセージを理解している ように見える 02. ChatGPTは何が新しいのか
22. これまでは事前に決められた応答しかできなかった 確率的だからこそ創作の領域に入ることができる 創造性を持った応答ができるようになった 02. ChatGPTは何が新しいのか
23. 03. 生成AIの仕組み
24. 登場人物 サーバー 半導体 LLM(Large Language Model) ソフトウェア クラウドコンピューティング 03. 生成AIの仕組み
25. 学習と推論(再掲) 03. 生成AIの仕組み 学習器 ax+b 推論器 2x+3 モデル 学習 推論 アメリカの大統領は？ 2024年のダービー馬は？ ... ジョー・バイデン ダノンデサイル ... 日本の首相は？ 岸田文雄
26. LLM(大規模言語モデル)パラメーターが膨大なモデル 03. 生成AIの仕組み 学習器 ax1+bx2+cx3+.. 推論器 2x1+3x2+4x3+.. LLM 学習 推論 アメリカの大統領は？ 2024年のダービー馬は？ ... ジョー・バイデン ダノンデサイル ... 日本の首相は？ 岸田文雄
27. 半導体はパラメーターを計算する役割 03. 生成AIの仕組み 学習器 ax+b 推論器 2x+3 LLM 学習 推論 半導体 半導体
28. サーバー サーバーはデータを受け付ける役割 03. 生成AIの仕組み 学習器 ax+b 推論器 2x+3 LLM 学習 推論 半導体 半導体 サーバー
29. サーバー クラウドコンピューティングはサーバーを保守する役割 03. 生成AIの仕組み 学習器 ax+b 推論器 2x+3 LLM 学習 推論 半導体 半導体 サーバー クラウド
30. サーバー ソフトウェアは入出力の前後のインターフェース 03. 生成AIの仕組み 学習器 ax+b 推論器 2x+3 LLM 学習 推論 半導体 半導体 サーバー クラウド 例えばチャットの画面 ソフトウェア ソフトウェア ソフトウェア ソフトウェア
31. 次の単語を確率分布 の中から取ってくる LLM 03. 生成AIの仕組み 吾輩は 猫 猫 猫 である 猫 単語分割単位はトークンという 推論
32. 自己教師あり学習 LLM 03. 生成AIの仕組み である 猫 問題 正解 吾輩は 吾輩は 猫 である ネットから 学習
33. LLM Transformer 03. 生成AIの仕組み 特徴 ・スケーリング則 訓練データ、モデルサイズ、投入計算量を増やせば増や すだけ性能が上がる ・膨大な学習コスト 学習コストはGPT-3(パラメータ数は3550億)で数十億円と 言われている 引用: Attention Is All You Need
34. 半導体 GPUが主流 01 元は画像処理のため の半導体だった 02 AIの学習、推論に相性 が良かった 生成AIの仕組み
35. 04. 主要なプレイヤー
36. 全体図 04. 主要なプレイヤー
37. ソフトウェア(概略) 一言で言うと すでに多くのユーザーを持つサービスに導入が目 立つ 04. 主要なプレイヤー
38. ソフトウェア 多くのサービスを持つ Google PixelシリーズやAndroidでモバイルに強みを持つ 02 Gmail、Google Map、Google Photos、Google WorkSpaceにAI機能を追加 01 04. 主要なプレイヤー
39. ソフトウェア プログラミング領域に強い Microsoft WindowsやOfficeソフトやOutlookなどの入力支援 02 プログラミング支援機能で生産性 54%向上した 01 04. 主要なプレイヤー
40. ソフトウェア ChatGPTにGPT-4oで多様 な機能を実装したOpenAI GPTsで特定のタスクに特化した AIを共有できる 02 BrowsingやAdbanced Data Analisisでユーザー体験を向上 01 04. 主要なプレイヤー
41. LLM 一言で言うと ビッグテック、お金のあるスタートアップが毎週の ように新しいモデルを公開しているカオスな状態 04. 主要なプレイヤー
42. LLM Mistral(MistralAI) MistralAIのMistralは高い認 識精度を持ち、リアルタイム での処理にも優れていま す。 Meta(Llama) MetaのLlamaはメタ学習によ り高速な学習能力を獲得 し、新たな課題にも柔軟に 対応します。 Anthropic(Claude) AnthropicのClaudeは人間の ような推論を行い、複雑な問 題に対して的確な解答を提 供します。 Google(Gemini) GoogleのGeminiは高度な データ解析によってパフォー マンスを向上させ、多岐に渡 るタスクに対応します。 OpenAI(GPT) OpenAIのGPTは自然な文章 生成において高い性能を持 ち、幅広い応用が可能で す。 04. 主要なプレイヤー
43. LLM コードを公開すればエンジニアがリスクを洗い出し、結果安全性が高まるという主張がある一方で、公開 性ゆえに悪意ある開発者に利用されるという意見もある 多くのエンジニアの集合知によって開発スピードを上げることを目的としている Llama(Meta), MistralAI(Mistral)がオープンソース オープンソースモデルとは、モデルのソースコードや学習に使用したデータが一般に公開されたモデル オープンソースモデル 04. 主要なプレイヤー
44. LLM その場合、ファインチューニングや RAGという手法が使われる AGI（汎用人工知能）は幅広いタスクをこなせる一方、社内データを利用したいなどタスク特化の重要もあ る AGI vs タスク特化 04. 主要なプレイヤー
45. ファインチューニングは計算コストを抑えつつ、モデルの適応性と精度を向上させる効果的な方法です。 学習済みのモデルに対して新しいタスクを行うための再学習をするプロセスです。 ファインチューニング LLM 04. 主要なプレイヤー
46. 自社のDBからデータを検索検索して検索結果をプ ロンプトに含める手法 LLM 04. 主要なプレイヤー RAG
47. LLM周辺 複数のモデルを用途に応じて最適なものに振り分ける Martianというスタートアップが提供している 04. 主要なプレイヤー
48. LLM周辺 AIの民主化「Hugging Face」 ディスカッション 03 学習データの共有 02 AIモデルの説明 01 04. 主要なプレイヤー
49. LLM周辺 Nejumiリーダーボード(JGLUE) GLUE MMLU どのモデルがどういったタスクで性能を示すのか STEP1 04. 主要なプレイヤー
50. 半導体 一言で言うと NvidiaのGPU一強 04. 主要なプレイヤー
51. 半導体 圧倒的なGPU売上高の Nvidia NvidiaがGPUのシェアで80%以上 03 GPUが2024年6月現在最もLLMの学習で性能を発揮している 02 ファブレス企業(向上を持たない企業 ) 01 04. 主要なプレイヤー
52. 半導体 製造はTSMCがほぼ独占 Nvidiaの高性能GPUをパッケージングする技術が圧倒的 02 半導体チップを専用ケースにパッケージング技術 01 04. 主要なプレイヤー
53. 半導体 EUV露光装置の開発・供 給は、オランダのASMLが 独占 実用レベルでは ASMLしか作れない 02 露光とは回路パターンをシリコンウエハー上に転写する技術 01 04. 主要なプレイヤー
54. GoogleやAmazonは2015年から 独自のAI用の半導体を開発 MicroSoft、Metaも後から参戦 性能はGPUには及ばないが、GPUの共有が間に合わない時のためのリスクヘッジに なる Point 半導体 04. 主要なプレイヤー
55. Post GPU GPUは元々AIに特化した半導体ではないため、 AIに特化した半導 体を各スタートアップが開発中。 半導体 04. 主要なプレイヤー
56. クラウドコンピューティング・サーバー 一言で言うと ビックテックの領域 04. 主要なプレイヤー
57. クラウドコンピューティング・サーバー クラウド市場への早期参 入(2006年) 豊富なサービス 豊富な情報 Anthropicに多額の数十億 ドル規模の出資 AWS(Amazon)がシェアトップ 04. 主要なプレイヤー
58. クラウドコンピューティング・サーバー OpenAIに数100億ドル規模 の出資 OpenAI需要により導入企 業数が1.5倍越え ソースコード共有ツール 「GitHub」とのシナジー プログラミングエディタ 「VSCode」とのシナジー OpenAIへの多額出資のMicrosoftが勢い 04. 主要なプレイヤー
59. ビッグデータに強みを持つ Google(VertexAI) ビッグデータを扱う技術を持つ 性能が高い自社 AIモデルを保有 クラウドコンピューティング・サーバー 04. 主要なプレイヤー
60. 大手クラウド各社の基盤の上に構築 最新のGPUに最適化されたAI学習サービス Nvidiaの参戦(GDXクラウド) クラウドコンピューティング・サーバー 04. 主要なプレイヤー
61. クラウドコンピューティング・サーバー 時価総額が1年で14倍のSuper Micro 01 いち早くAIサーバーに注力 02 付随するソフトウェアやコンサル ティングとセットで販売 03 自社のデータをクラウドに置くこ とに警戒心を持つ企業に対して の需要がある 04. 主要なプレイヤー
62. 05. マクロからみた変化
63. 日本の動き 法規制 人間がAIに支配される危機 ディープフェイク ニューロテック GPUの製造が追いつかない 中国 VS 米国 既存のビジネスモデルのディスラプト 目次 05. マクロからみた変化
64. 既存のビジネスモデルのディスラプト インターネットによる広告のあり方の変化 ・スマートフォン による携帯端末の多機能化ような変化が起こりうるとみら れている GAFAMからMOMA(Google, OpenAI, Microsoft, Anthropic)へ キラーコンテンツ、キラーアプリは ChatGPT以外まだみられない 生成AIによる検索から問い合わせに 05. マクロからみた変化
65. GPUの製造が追いつかない モデルの性能競争による需要が急速に拡大 ハイエンドなチップを作れるのは 2~3カ国しかない スケーリング則による競争のため需要が供給を圧倒的に上回る 05. マクロからみた変化
66. 中国は自国だけで大きな市場があるため目立っていない バイドゥ、アリババ、テンセントはど軸のクラウドを保有 GPT-4を上回ったと言われている AI特許出願件数は米国の倍以上 中国 VS 米国 2019年米国はファーウェイへの貿易規制 米国はASMLと日本の半導体メーカーに協力を要請し更なる輸出規制 2023年に創造を上回る性能の半導体を自社開発した TSMCなどが製造した半導体を輸入できなくなった 05. マクロからみた変化
67. ニューロテック 外傷を負った人が思考だけでコンピューターを操作できるようにすることを目指す 02 イーロン・マスク氏が創業のニューラリンクにも期待 ペットと会話できる日は近いかも 01 fMRIから頭で考えているイメージを取り出す実験をしてある程度の成果が出たらしい 05. マクロからみた変化
68. 偽情報が広まるリスクがある ドナルド・トランプ氏逮捕のフェイ ク動画が拡散される ディープフェイク 05. マクロからみた変化
69. 人間がAIに支配される危機 OpenAI社の設立にも関わったイーロン・マスク氏、 Apple社の共同創設者スティーブ・ウォズニアック 氏、Skypeの共同創設者ジャーン・タリン氏など IT業界の著名人、他多くの科学者がその考えに賛同し、 署名している。 GPT4を超えるAIの少なくとも６カ月間にわたる開発停止を求めた 05. マクロからみた変化
70. 法規制 日本はまだまとまってない 自民党が法律案をまとめて いる段階 米国は安全保障に対する大 統領 これは「ソフトロー」と呼ばれ るものでガイドラインや民間 企業の自主的な規制を促進 するもの EUによる「AI法(AI Act)」 ビッグテックの力を削ぐ目的 も 「許容できないリスク」「ハイ リスク」の違反には制裁金 「許容できないリスク」「ハイ リスク」「限定リスク」「最小リ スク」の4分類 05. マクロからみた変化
71. 日本の動き 約５兆ドルを調達しようとしているという噂も 孫正義氏が1000億規模の半導体ベン チャーの立ち上げ 半導体材料の接合に必要な装置のシェア過半数 GPUに不可欠な材料の製造の鍵を握って いる東京エレクトロン トークンが日本語に最適化される 日本語LLM 05. マクロからみた変化
72. 06. ミクロからみた変化
73. 目次 ハイパーパーソナライゼーション ハイパーオートメーション マルチモーダル プロンプトエンジニアリング 非構造データから構造データ ハイパーデジタルヒューマン ハイパーコミニュケーション 06. ミクロからみた変化
74. 特定の目的やタスクに対して最適な出力を得るために、人工知能（ AI）や自然言語処理（NLP）モデルへの入 力（プロンプト）を設計・調整する技術や手法のことを指します。プロンプトエンジニアリングは、モデルが意 図した回答や行動を生成するための重要な役割を果たします。 プロンプトエンジニアリング 06. ミクロからみた変化
75. 公共サービスのケースにおける文書の検索・調査・要約・データ分析・報告書の作成といったユース ケース 顧客対応においてAIチャットボットを使用 人間の思考とツールが融合し、新次元の自動化を実現する。 ハイパーオートメーション 06. ミクロからみた変化
76. マーケティングコンテンツがインテリジェントにパーソナライズされていく 商品の提案 個々の顧客に焦点を当てた製品やサービスの提供が可能となる。 ハイパーパーソナライゼーション 06. ミクロからみた変化
77. プログラミング言語もなんでも良くなる？ 言語の壁がなくなる？ 言語や専門分野の壁を超え、効率的なだけでなく、生産的・創造的なコミュニ ケーションを促進する。 ハイパーコミニュケーション 06. ミクロからみた変化
78. POやエンジニアなどそれぞれに役割を与えてソフトウェアを開発する実験が行われている 汎用的なLLMによって人格を設定できる 仮想人格を高い精度で再現し、エンターテインメントからビジネスまで多面的に 利用できる。 ハイパーデジタルヒューマン 06. ミクロからみた変化
79. 非構造データから構造データ CHECK POINT PDF、画像ファイル、音声ファイルなどの文字を抜き出すことができるように なってきている これまでよりもデータが増えてより AIの進化が加速する 06. ミクロからみた変化
80. 07. 私たちは生成AIとどう向き合うべきか ※個人的見解が多く含まれるので話半分で聞いてください
81. 低コストの趣味を見つけよう 資産を分散しよう (できれば) Pythonを使ってみよう 人間によるフィードバックのチェックポイントを設定しよう AIが解釈しやすい言葉を見つけよう 目次 07. 私たちは生成AIとどう向き合うべきか
82. AIが解釈しやすい言葉を見つけよう プロンプトエンジニアリングガイドを参考にする https://www.promptingguide.ai/jp 07. 私たちは生成AIとどう向き合うべきか
83. AIは間違えるので人間のフィードバックをフローのどこか に入れる 人間によるフィードバックのチェックポイントを設定しよう 07. 私たちは生成AIとどう向き合うべきか
84. 現時点でのLLMはプログラミング言語に強い ChatGPT(GPT-4o)のAdbanced Data AnalisisではPythonのコードが出力されるの で読めると良い (できれば) Pythonを使ってみよう 07. 私たちは生成AIとどう向き合うべきか
85. 米国のビックテックはAI時代になっても暴落する可能性は現状低いと 予想 日本企業がより強くなるとしたら貧困に陥る危機は少ないと思う ただし、あらゆる最適化が行われた結果物価が下落する可能性はあ り得そうだと思うので現金で持っておくといいか 資産を分散しよう 07. 私たちは生成AIとどう向き合うべきか
86. そうなると、安く楽しめることがあると幸福になると思う 生成AIは現状お金持ちのゲームだと思うので相対的に資産は低くなると予想 低コストの趣味を見つけよう 07. 私たちは生成AIとどう向き合うべきか
87. ありがとうございました