$30 off During Our Annual Pro Sale. View Details »

エンジニアが知っておきたい生成AIの今と、これからの付き合い方

SORACOM
PRO
November 11, 2023

 エンジニアが知っておきたい生成AIの今と、これからの付き合い方

2023年11月11日開催『オープンセミナー2023@広島
』で、ソラコム松下(max)が発表した資料です。

SORACOM
PRO

November 11, 2023
Tweet

More Decks by SORACOM

Other Decks in Technology

Transcript

  1. エンジニアが知っておきたい
    生成 AI の今と、これからの付き合い方
    Nov. 11, 2023
    オープンセミナー2023@広島
    株式会社ソラコム
    テクノロジー・エバンジェリスト
    松下 享平 (Max / @ma2shita)

    View Slide

  2. WiJG?, Public domain, via Wikimedia Commons
    株式会社ソラコム
    テクノロジー・エバンジェリスト
    松下 享平 (まつした こうへい)
    "Max"
    • 静岡県民 🗻 新幹線通勤族 🚅
    • 講演や執筆を中心に活動、登壇数600以上/累計
    • 経歴: 東証二部ハードウェアメーカーで情シス、
    EC 事業、IoT 事業開発を経て2017年より現職
    • 好きな言葉「論よりコード」
    • AWS ヒーロー (2020年受賞)
    • X(旧Twitter): @ma2shita
    • 最近 Pixel 8 に変えました ← NEW!!

    View Slide

  3. @SORACOM_PR
    fb.com/soracom.jp
    イベントの振り返りに!
    ハッシュタグ
    #OSH2023
    #SORACOM
    フォローや
    チャンネル登録を是非!
    youtube.com/c/SORACOM_Japan
    instagram.com/soracom.official

    View Slide

  4. Pixel シリーズ「消しゴムマジック」

    View Slide

  5. 十分に発達した科学技術は、
    魔法と見分けがつかない。
    ― クラークの三法則、第三法則より

    View Slide

  6. エンジニアが知っておきたい
    生成 AI の今と、これからの付き合い方 (40分)
    • IoT と SORACOM の 生成 AI への取り組み状況
    • 生成 AI の振り返り
    • 私たちは次に何をしたらよいのか?

    View Slide

  7. 株式会社ソラコム 概要
    商号 株式会社ソラコム / SORACOM, INC.
    代表取締役社長 玉川 憲
    拠点 日本、英国、米国(シアトル)
    事業概要 IoT 向けの通信プラットフォームの提供
    ビジョン 世界中のヒトとモノを繋げ、共鳴する社会へ
    「日本発」グローバルで使える IoT プラットフォームへ

    View Slide

  8. https://www.youtube.com/watch?v=sy40qlTH3Ss

    View Slide

  9. 株式会社Luup
    車載IoTデバイスを通じて、電動キッ
    クボードの位置からリアルタイムの
    在庫情報を管理。利便性を高め、
    日本初の政府特例を受けたシェアリ
    ングサービスを提供。 利用したSORACOMサービス:SORACOM Air
    サービス
    導入事例

    View Slide

  10. 出典: 株式会社Luup. “広島市で、電動キックボードや電動アシスト自転車のシェアリングサービス「LUUP」の提供を開始しました”. News 一覧.
    2022-8-3. https://luup.sc/news/2023-08-03-hiroshima-start/, (参照 2023-11-10).

    View Slide

  11. クラウド
    センサー/デバイス
    “モノ”
    ネットワーク
    現場をデジタル化 現場とクラウドをつなげる デジタルデータの活用
    モノやコトをデジタル化
    人手に頼らずデータを集める、現場を動かす
    IoT とは?

    View Slide

  12. SORACOM は IoT の「つなぐ」を簡単に
    IoT デバイス クラウドサービス
    ✓ 遠隔操作
    ✓ メンテナンス
    ✓ 蓄積・見える化
    ✓ アラート通知
    センサ
    キット
    IoT 通信
    IoT SIM
    LPWA
    パートナー
    デバイス
    パートナークラウド
    (AWS / Microsoft / Google)
    Wi-Fi / 有線
    3G / LTE / 5G
    LTE-M
    通信
    デバイス
    クラウド型
    カメラサービス
    衛星通信

    View Slide

  13. ソラコムにおける生成 AI への取り組み状況
    1. 研究と新規開発
    松尾研究所と共同で「IoT × GenAI Lab」を設立
    ➢ 生成 AI 研究、新規プロダクト開発、顧客向けプロサービス
    提供を行うチームを設立
    2. 情報発信や共有
    ➢ IoT 技術の勉強会「IoT-Tech Meetup」で “ChatGPT × IoT” を
    テーマに開催
    3. プラットフォームへの実装と提供
    IoTデータの分析を生成 AI で行える
    「SORACOM Harvest Intelligence」を提供
    ➢ 時系列データを対象にしたプロンプト支援で、トレンドや
    異常・欠損などの洞察がワンクリックで得られる
    株式会社松尾研究所
    経営企画マネージャー
    上田 雄登 氏
    株式会社スマートドライブ主催
    「Mobility Transformation 2023」(2023/9/23) より
    SORACOM Harvest Intelligence / プロンプト一覧
    (2023年11月現在)

    View Slide

  14. “AI” における生成 AI (GenAI) の位置づけ
    生成 AI (Generative AI; GenAI)
    • 機械学習(ML) における分類「識別モデル」と「生成モデル」のうち、生成に着目した呼称。
    • 具体的には画像を生成するモデルや、自然言語を扱う大規模言語モデル(LLM)を指す。
    出典: 西脇 文彦. “生成AIが実現している機能の6類型”. DIAMOND ハーバード・ビジネス・レビュー.
    2023-06-09. https://dhbr.diamond.jp/articles/-/9676, (参照 2023-08-10).
    従来の ML や深層学習(DL)と異なる点
    これまでは「学習」と「推論(生成)」の2つの作業が
    一体化していることが多かった。
    生成 AI は学習済みモデル(基盤モデル)が提供され、
    利用者による学習作業が不要で、成果が得られる状態。

    View Slide

  15. 識別と生成
    出典: キカガク 谷口. “【初心者向け】Stable Diffusion や Midjourney を支える技術 画像生成入門 1”. キカガクブログ.
    2022-10-06. https://blog.kikagaku.co.jp/image-generation-course1, (参照 2023-08-10).
    これまでの機械学習は、識別(図左側)による問題解決が主だった
    例) 画像を入力 → これは何?= 分類を出力

    View Slide

  16. 基盤モデル = “常識”
    株式会社スマートドライブ主催「Mobility Transformation 2023」(9/23) より
    基盤モデルとは
    大量かつ多様なデータで訓練され、
    多様な用途におけるタスクに適応
    できるモデル※1
    ※1 Stanford University Human-Centered Artificial Intelligence, Machine Learning Reflections on Foundation Models
    人間の経験や知識の如く
    「常識を獲得」

    View Slide

  17. 大規模言語モデル(Large Language Model; LLM)
    とパラメーター数
    【LLM とは】入力単語群を基に
    「次の単語を予測する」仕組み
    LLM の評価指標「パラメーター数」
    • パラメーターの数 = モデルの容量
    • 言語や用途に特化している場合もある
    ため単純比較はできないが、予測精度
    の評価目安にはなる
    出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第2回).
    2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10).
    IoT とは、遠くのモノや現場で起こっているコトを
    デジタル化する技術です。その用途は、
    …その用途は、製造業における
    初期入力
    出力 = 生成
    この文章に続く単語は
    “これ” だな、
    常識的に考えて。
    …その用途は、製造業における機械の監視や、
    …その用途は、製造業における機械の監視や、地域防災を
    さらに入力

    View Slide

  18. 例: line-corporation/japanese-large-lm
    text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=5,
    )
    出所: “36億パラメータの日本語言語モデルを公開しました”. LINE Engineering.
    2020-08-14. https://engineering.linecorp.com/ja/blog/3.6-billion-parameter-japanese-language-model, (参照 2023-08-10).
    コードの抜粋
    # 下記は生成される出力の例
    # [{'generated_text': 'おはようございます、今日の天気は雨模様ですね。梅雨のこの時期の 朝は洗濯物が
    # {'generated_text': 'おはようございます、今日の天気は晴れ。 気温は8°C位です。 朝晩は結構冷え込む
    # {'generated_text': 'おはようございます、今日の天気は曇りです。 朝起きたら雪が軽く積もっていた。
    # {'generated_text': 'おはようございます、今日の天気は☁のち☀です。 朝の気温5°C、日中も21°Cと
    # {'generated_text': 'おはようございます、今日の天気は晴天ですが涼しい1日です、気温は午後になり低
    出力の抜粋

    View Slide

  19. 日本国内の主だった LLM
    ※1 “Language Models are Few-Shot Learners”. arXiv:2005.14165.
    2020-07-22. https://arxiv.org/abs/2005.14165, (参照 2023-08-10).
    ※2 James Vincent. “OpenAI CEO Sam Altman on GPT-4: ‘people are begging to be disappointed and they will be’”. The
    Verge..
    2023-01-18. https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview, (参照
    2023-08-10).
    LLM 名 パラメーター数 特化言語 提供元 公開時期
    GPT-3 1,750億 汎用 OpenAI 2020年11月 ※1
    GPT-4 (非公開) 汎用 OpenAI 2023年3月 ※2
    OpenCALM 68億 日本語 サイバーエージェント 2023年5月 ※3
    rinna 36億 日本語 rinna 2023年5月 ※4
    japanese-large-lm 36億 日本語 LINE 2023年8月 ※5
    Weblab-10B 100億 日・英 松尾研究室 2023年8月 ※6
    ※4 “rinna、日本語に特化した36億パラメータのGPT言語モデルを公開”. rinna ニュース.
    2020-05-17. https://rinna.co.jp/news/2023/05/20230507.html, (参照 2023-08-10).
    ※3 “サイバーエージェント、最大68億パラメータの日本語LLM(大規模言語モデル)を一般公開 ―オープンなデータで学
    習した商用利用可能なモデルを提供―”. サイバーエージェント プレスリリース.
    2020-05-17. https://www.cyberagent.co.jp/news/detail/id=28817, (参照 2023-08-10).
    ※5 “36億パラメータの日本語言語モデルを公開しました”. LINE Engineering.
    2020-08-14. https://engineering.linecorp.com/ja/blog/3.6-billion-parameter-japanese-language-model, (参照 2023-08-10).
    ※6 “100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。”. 松尾研究所
    プレスリリース.
    2020-08-18. https://weblab.t.u-tokyo.ac.jp/100億パラメータサイズ・日英2ヶ国語対応の大規模/, (参照 2023-08-10).
    • 他にも「NEC の LLM (NEC)」がある。海外では「Llama 2 (Meta)」「Claude 2 (Anthropic)」「Falcon LLM
    (Technology Innovation Institute)」が公開されている
    • 最新リストを追うならば Open LLM Leaderboard(Hugging Face) をチェック

    View Slide

  20. LLM 実装の1つ「ChatGPT」
    • LLM の直接実装では「文章の続きを書く」ことができるが、ニーズが少なかった
    • ChatGPT が注目された背景は「会話型インターフェイス」にしたことで、誰でも
    使える = LLM 利用の民主化を実現
    出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第2回).
    2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10).
    LLM
    GPT-3 GPT-3.5 GPT-4
    ChatGPT
    会話型
    インターフェイス

    View Slide

  21. 生成 AI のユースケース
    出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第2回).
    2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10).

    View Slide

  22. 《LLM は、何でも知ってる》
    聞き出す技術が必要

    View Slide

  23. LLM を使いこなす「プロンプトエンジニアリング」
    LLM は「LLM が知っている事を基に、予測を生成する」
    ➢ LLM が知っていることを引き出す手法が、プロンプトエンジニアリング(PE)

    View Slide

  24. プロンプトエンジニアリングを学ぶ
    Prompt Engineering Guide
    https://www.promptingguide.ai/
    日本語: https://www.promptingguide.ai/jp
    プロンプトエンジニアリング自体の基礎から、
    LLM 全般に対するテクニックを解説
    ※英語版が最新
    Best practices for prompt engineering
    with OpenAI API
    https://help.openai.com/en/articles/6654000-best-practices-for-
    prompt-engineering-with-openai-api
    OpenAI が提供する API を使いこなす 8 つの Tips
    だが、他の LLM 向けにも通ずる内容

    View Slide

  25. プロンプトエンジニアリングは発展期 1/2
    出所: AIDB. “GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに”. AIDB.
    2020-08-30. https://aiboom.net/archives/54690, (参照 2023-08-31).
    GPT-4に選択肢を与えるとき、順序を入れ替えるだけで、性能に大きな変化がある
    ことが明らかに
    選択肢の順序が変更されることで、モデルの性能に
    13%から75%もの大きな変動が生じたという点
    丁寧な精査も必要だが、コンピューターの原則
    GIGO
    Garbage In, Garbage Out
    を意識することで、より良い結果が得られる

    View Slide

  26. プロンプトエンジニアリングは発展期 2/2
    出所: Cheng Li, Jindong Wang, Yixuan Zhang, Kaijie Zhu, Wenxin Hou, Jianxun Lian, Fang Luo, Qiang Yang, Xing
    Xie. “Large Language Models Understand and Can be Enhanced by Emotional Stimuli”. arXiv:2307.11760.
    2023-07-14. https://arxiv.org/abs/2307.11760, (参照 2023-11-10).
    参照: AIDB, https://x.com/ai_database/status/1720257299212873914?s=20
    2023-11-3. (参照 2023-11-10).
    大規模言語モデルは感情的刺激を理解し、
    それによって強化されうる

    View Slide

  27. 「常識の獲得」によるパラダイムシフト LLM ができることは「次の単語を予測して生成」
    ChatGPT は GPT を基にした会話型 I/F プロンプトエンジニアリングで LLM の活用が大きく変わる

    View Slide

  28. 生成 AI との付き合い方
    Copilot ー よき友
    Whisper 等 ChatGPT 以外のプロダクト利用、
    GPTs(GPT Builder) 等
    Function Calling、Assistant API、RAG
    Azure OpenAI Service、Amazon Bedrock 等
    私たち自身の生産性を上げる
    Embed ー 土壌
    私たちの製品に革新を組み込む

    View Slide

  29. 【再掲】

    View Slide

  30. まずは、やってみよう!

    View Slide

  31. 【再掲】

    View Slide

  32. IoT の「つなぐ」を簡単に
    You Create. We Connect.

    View Slide