Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
エンジニアが知っておきたい生成AIの今と、これからの付き合い方
Search
SORACOM
PRO
November 11, 2023
Technology
0
1.7k
エンジニアが知っておきたい生成AIの今と、これからの付き合い方
2023年11月11日開催『
オープンセミナー2023@広島
』で、ソラコム松下(max)が発表した資料です。
SORACOM
PRO
November 11, 2023
Tweet
Share
More Decks by SORACOM
See All by SORACOM
【SORACOM UG】SORACOM におけるユーザーコミュニティの重要性とこれから
soracom
PRO
2
65
AWS Lambda と Amazon SQS で「わかった気になれる」FreeRTOS 入門
soracom
PRO
2
170
IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
0
240
Technical Writing Meetup vol.35
soracom
PRO
2
190
AI でアップデートする既存テクノロジーと、クラウドエンジニアの生きる道
soracom
PRO
2
810
ロボットアームを遠隔制御の話 & LLMをつかったIoTの話もしたい
soracom
PRO
1
530
【SORACOM UG ビギナーズ】IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
1
410
時系列データ向け基盤モデル「Chronos (by Amazon.com)」で行う未来予測
soracom
PRO
0
2.6k
ソラカメチーム紹介資料(エンジニア向け)
soracom
PRO
0
590
Other Decks in Technology
See All in Technology
マネジメント視点でのre:Invent参加 ~もしCEOがre:Inventに行ったら~
kojiasai
0
450
フルカイテン株式会社 採用資料
fullkaiten
0
36k
バクラクにおける可観測性向上の取り組み
yuu26
3
410
Gradle: The Build System That Loves To Hate You
aurimas
2
140
なんで、私がAWS Heroに!? 〜社外の広い世界に一歩踏み出そう〜
minorun365
PRO
6
1.1k
Product Engineer Night #6プロダクトエンジニアを育む仕組み・施策
hacomono
PRO
1
460
2024-10-30-reInventStandby_StudyGroup_Intro
shinichirokawano
1
620
LeSSに潜む「隠れWF病」とその処方箋
lycorptech_jp
PRO
2
120
Figma Dev Modeで進化するデザインとエンジニアリングの協働 / figma-with-engineering
cyberagentdevelopers
PRO
1
430
MAMを軸とした動画ハンドリングにおけるAI活用前提の整備と次世代ビジョン / abema-ai-mam
cyberagentdevelopers
PRO
1
110
グローバル展開を見据えたサービスにおける機械翻訳プラクティス / dp-ai-translating
cyberagentdevelopers
PRO
1
150
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
9
120k
Featured
See All Featured
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
Speed Design
sergeychernyshev
24
570
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
790
[RailsConf 2023] Rails as a piece of cake
palkan
51
4.9k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
37
1.8k
We Have a Design System, Now What?
morganepeng
50
7.2k
The Cult of Friendly URLs
andyhume
78
6k
Automating Front-end Workflow
addyosmani
1365
200k
Transcript
エンジニアが知っておきたい 生成 AI の今と、これからの付き合い方 Nov. 11, 2023 オープンセミナー2023@広島 株式会社ソラコム テクノロジー・エバンジェリスト
松下 享平 (Max / @ma2shita)
WiJG?, Public domain, via Wikimedia Commons 株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平
(まつした こうへい) "Max" • 静岡県民 🗻 新幹線通勤族 🚅 • 講演や執筆を中心に活動、登壇数600以上/累計 • 経歴: 東証二部ハードウェアメーカーで情シス、 EC 事業、IoT 事業開発を経て2017年より現職 • 好きな言葉「論よりコード」 • AWS ヒーロー (2020年受賞) • X(旧Twitter): @ma2shita • 最近 Pixel 8 に変えました ← NEW!!
@SORACOM_PR fb.com/soracom.jp イベントの振り返りに! ハッシュタグ #OSH2023 #SORACOM フォローや チャンネル登録を是非! youtube.com/c/SORACOM_Japan instagram.com/soracom.official
Pixel シリーズ「消しゴムマジック」
十分に発達した科学技術は、 魔法と見分けがつかない。 ― クラークの三法則、第三法則より
エンジニアが知っておきたい 生成 AI の今と、これからの付き合い方 (40分) • IoT と SORACOM の
生成 AI への取り組み状況 • 生成 AI の振り返り • 私たちは次に何をしたらよいのか?
株式会社ソラコム 概要 商号 株式会社ソラコム / SORACOM, INC. 代表取締役社長 玉川 憲
拠点 日本、英国、米国(シアトル) 事業概要 IoT 向けの通信プラットフォームの提供 ビジョン 世界中のヒトとモノを繋げ、共鳴する社会へ 「日本発」グローバルで使える IoT プラットフォームへ
https://www.youtube.com/watch?v=sy40qlTH3Ss
株式会社Luup 車載IoTデバイスを通じて、電動キッ クボードの位置からリアルタイムの 在庫情報を管理。利便性を高め、 日本初の政府特例を受けたシェアリ ングサービスを提供。 利用したSORACOMサービス:SORACOM Air サービス 導入事例
出典: 株式会社Luup. “広島市で、電動キックボードや電動アシスト自転車のシェアリングサービス「LUUP」の提供を開始しました”. News 一覧. 2022-8-3. https://luup.sc/news/2023-08-03-hiroshima-start/, (参照 2023-11-10).
クラウド センサー/デバイス “モノ” ネットワーク 現場をデジタル化 現場とクラウドをつなげる デジタルデータの活用 モノやコトをデジタル化 人手に頼らずデータを集める、現場を動かす IoT
とは?
SORACOM は IoT の「つなぐ」を簡単に IoT デバイス クラウドサービス ✓ 遠隔操作 ✓
メンテナンス ✓ 蓄積・見える化 ✓ アラート通知 センサ キット IoT 通信 IoT SIM LPWA パートナー デバイス パートナークラウド (AWS / Microsoft / Google) Wi-Fi / 有線 3G / LTE / 5G LTE-M 通信 デバイス クラウド型 カメラサービス 衛星通信
ソラコムにおける生成 AI への取り組み状況 1. 研究と新規開発 松尾研究所と共同で「IoT × GenAI Lab」を設立 ➢
生成 AI 研究、新規プロダクト開発、顧客向けプロサービス 提供を行うチームを設立 2. 情報発信や共有 ➢ IoT 技術の勉強会「IoT-Tech Meetup」で “ChatGPT × IoT” を テーマに開催 <https://soracom.connpass.com/> 3. プラットフォームへの実装と提供 IoTデータの分析を生成 AI で行える 「SORACOM Harvest Intelligence」を提供 ➢ 時系列データを対象にしたプロンプト支援で、トレンドや 異常・欠損などの洞察がワンクリックで得られる 株式会社松尾研究所 経営企画マネージャー 上田 雄登 氏 株式会社スマートドライブ主催 「Mobility Transformation 2023」(2023/9/23) より SORACOM Harvest Intelligence / プロンプト一覧 (2023年11月現在)
“AI” における生成 AI (GenAI) の位置づけ 生成 AI (Generative AI; GenAI)
• 機械学習(ML) における分類「識別モデル」と「生成モデル」のうち、生成に着目した呼称。 • 具体的には画像を生成するモデルや、自然言語を扱う大規模言語モデル(LLM)を指す。 出典: 西脇 文彦. “生成AIが実現している機能の6類型”. DIAMOND ハーバード・ビジネス・レビュー. 2023-06-09. https://dhbr.diamond.jp/articles/-/9676, (参照 2023-08-10). 従来の ML や深層学習(DL)と異なる点 これまでは「学習」と「推論(生成)」の2つの作業が 一体化していることが多かった。 生成 AI は学習済みモデル(基盤モデル)が提供され、 利用者による学習作業が不要で、成果が得られる状態。
識別と生成 出典: キカガク 谷口. “【初心者向け】Stable Diffusion や Midjourney を支える技術 画像生成入門
1”. キカガクブログ. 2022-10-06. https://blog.kikagaku.co.jp/image-generation-course1, (参照 2023-08-10). これまでの機械学習は、識別(図左側)による問題解決が主だった 例) 画像を入力 → これは何?= 分類を出力
基盤モデル = “常識” 株式会社スマートドライブ主催「Mobility Transformation 2023」(9/23) より 基盤モデルとは 大量かつ多様なデータで訓練され、 多様な用途におけるタスクに適応
できるモデル※1 ※1 Stanford University Human-Centered Artificial Intelligence, Machine Learning Reflections on Foundation Models 人間の経験や知識の如く 「常識を獲得」
大規模言語モデル(Large Language Model; LLM) とパラメーター数 【LLM とは】入力単語群を基に 「次の単語を予測する」仕組み LLM の評価指標「パラメーター数」
• パラメーターの数 = モデルの容量 • 言語や用途に特化している場合もある ため単純比較はできないが、予測精度 の評価目安にはなる 出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第2回). 2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10). IoT とは、遠くのモノや現場で起こっているコトを デジタル化する技術です。その用途は、 …その用途は、製造業における 初期入力 出力 = 生成 この文章に続く単語は “これ” だな、 常識的に考えて。 …その用途は、製造業における機械の監視や、 …その用途は、製造業における機械の監視や、地域防災を さらに入力
例: line-corporation/japanese-large-lm text = generator( "おはようございます、今日の天気は", max_length=30, do_sample=True, pad_token_id=tokenizer.pad_token_id, num_return_sequences=5,
) 出所: “36億パラメータの日本語言語モデルを公開しました”. LINE Engineering. 2020-08-14. https://engineering.linecorp.com/ja/blog/3.6-billion-parameter-japanese-language-model, (参照 2023-08-10). コードの抜粋 # 下記は生成される出力の例 # [{'generated_text': 'おはようございます、今日の天気は雨模様ですね。梅雨のこの時期の 朝は洗濯物が # {'generated_text': 'おはようございます、今日の天気は晴れ。 気温は8°C位です。 朝晩は結構冷え込む # {'generated_text': 'おはようございます、今日の天気は曇りです。 朝起きたら雪が軽く積もっていた。 # {'generated_text': 'おはようございます、今日の天気は☁のち☀です。 朝の気温5°C、日中も21°Cと # {'generated_text': 'おはようございます、今日の天気は晴天ですが涼しい1日です、気温は午後になり低 出力の抜粋
日本国内の主だった LLM ※1 “Language Models are Few-Shot Learners”. arXiv:2005.14165. 2020-07-22.
https://arxiv.org/abs/2005.14165, (参照 2023-08-10). ※2 James Vincent. “OpenAI CEO Sam Altman on GPT-4: ‘people are begging to be disappointed and they will be’”. The Verge.. 2023-01-18. https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview, (参照 2023-08-10). LLM 名 パラメーター数 特化言語 提供元 公開時期 GPT-3 1,750億 汎用 OpenAI 2020年11月 ※1 GPT-4 (非公開) 汎用 OpenAI 2023年3月 ※2 OpenCALM 68億 日本語 サイバーエージェント 2023年5月 ※3 rinna 36億 日本語 rinna 2023年5月 ※4 japanese-large-lm 36億 日本語 LINE 2023年8月 ※5 Weblab-10B 100億 日・英 松尾研究室 2023年8月 ※6 ※4 “rinna、日本語に特化した36億パラメータのGPT言語モデルを公開”. rinna ニュース. 2020-05-17. https://rinna.co.jp/news/2023/05/20230507.html, (参照 2023-08-10). ※3 “サイバーエージェント、最大68億パラメータの日本語LLM(大規模言語モデル)を一般公開 ―オープンなデータで学 習した商用利用可能なモデルを提供―”. サイバーエージェント プレスリリース. 2020-05-17. https://www.cyberagent.co.jp/news/detail/id=28817, (参照 2023-08-10). ※5 “36億パラメータの日本語言語モデルを公開しました”. LINE Engineering. 2020-08-14. https://engineering.linecorp.com/ja/blog/3.6-billion-parameter-japanese-language-model, (参照 2023-08-10). ※6 “100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。”. 松尾研究所 プレスリリース. 2020-08-18. https://weblab.t.u-tokyo.ac.jp/100億パラメータサイズ・日英2ヶ国語対応の大規模/, (参照 2023-08-10). • 他にも「NEC の LLM (NEC)」がある。海外では「Llama 2 (Meta)」「Claude 2 (Anthropic)」「Falcon LLM (Technology Innovation Institute)」が公開されている • 最新リストを追うならば Open LLM Leaderboard(Hugging Face) をチェック
LLM 実装の1つ「ChatGPT」 • LLM の直接実装では「文章の続きを書く」ことができるが、ニーズが少なかった • ChatGPT が注目された背景は「会話型インターフェイス」にしたことで、誰でも 使える =
LLM 利用の民主化を実現 出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第2回). 2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10). LLM GPT-3 GPT-3.5 GPT-4 ChatGPT 会話型 インターフェイス
生成 AI のユースケース 出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第2回). 2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照
2023-08-10).
《LLM は、何でも知ってる》 聞き出す技術が必要
LLM を使いこなす「プロンプトエンジニアリング」 LLM は「LLM が知っている事を基に、予測を生成する」 ➢ LLM が知っていることを引き出す手法が、プロンプトエンジニアリング(PE)
プロンプトエンジニアリングを学ぶ Prompt Engineering Guide https://www.promptingguide.ai/ 日本語: https://www.promptingguide.ai/jp プロンプトエンジニアリング自体の基礎から、 LLM 全般に対するテクニックを解説
※英語版が最新 Best practices for prompt engineering with OpenAI API https://help.openai.com/en/articles/6654000-best-practices-for- prompt-engineering-with-openai-api OpenAI が提供する API を使いこなす 8 つの Tips だが、他の LLM 向けにも通ずる内容
プロンプトエンジニアリングは発展期 1/2 出所: AIDB. “GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに”. AIDB. 2020-08-30. https://aiboom.net/archives/54690, (参照 2023-08-31).
GPT-4に選択肢を与えるとき、順序を入れ替えるだけで、性能に大きな変化がある ことが明らかに 選択肢の順序が変更されることで、モデルの性能に 13%から75%もの大きな変動が生じたという点 丁寧な精査も必要だが、コンピューターの原則 GIGO Garbage In, Garbage Out を意識することで、より良い結果が得られる
プロンプトエンジニアリングは発展期 2/2 出所: Cheng Li, Jindong Wang, Yixuan Zhang, Kaijie
Zhu, Wenxin Hou, Jianxun Lian, Fang Luo, Qiang Yang, Xing Xie. “Large Language Models Understand and Can be Enhanced by Emotional Stimuli”. arXiv:2307.11760. 2023-07-14. https://arxiv.org/abs/2307.11760, (参照 2023-11-10). 参照: AIDB, https://x.com/ai_database/status/1720257299212873914?s=20 2023-11-3. (参照 2023-11-10). 大規模言語モデルは感情的刺激を理解し、 それによって強化されうる
「常識の獲得」によるパラダイムシフト LLM ができることは「次の単語を予測して生成」 ChatGPT は GPT を基にした会話型 I/F プロンプトエンジニアリングで LLM
の活用が大きく変わる
生成 AI との付き合い方 Copilot ー よき友 Whisper 等 ChatGPT 以外のプロダクト利用、
GPTs(GPT Builder) 等 Function Calling、Assistant API、RAG Azure OpenAI Service、Amazon Bedrock 等 私たち自身の生産性を上げる Embed ー 土壌 私たちの製品に革新を組み込む
【再掲】
まずは、やってみよう!
【再掲】
IoT の「つなぐ」を簡単に You Create. We Connect.