カチャカLLM連携

Transcript

1. カチャカ LLM連携 2023-12-20 Microsoft AI for Startup Day 株式会社Preferred Robotics 渡辺貴史
2. ⾃⼰紹介 渡辺 貴史 (わたなべ たかふみ) 1998年⽣まれ。千葉県⽴千葉⾼校出⾝。 NHK/ABUロボコンに出場 (東京⼤学RoboTech) 2023年 東⼤稲⾒研を修⼠号を取得 今年春からPreferred Roboticsに⼊社
3. Preferred Robotics 会社紹介 AI技術に強いPreferred Networksから 2021年11⽉にカーブアウト 独⾃モデルの学習やモデル最適化､ エッジデバイスでの推論⾼速化など 様々なAI技術を ⾃律移動ロボットに応⽤
4. Preferred Robotics 会社紹介 家庭⽤ロボット カチャカ ⼩型床洗浄ロボット HAPiiBOT 4 基盤ソフトを共通化しつつB2C, B2B両輪のロボットを開発 「すべての⼈に、ロボットを」を掲げています
5. 今⽇の話: カチャカのLLM連携 ⼤規模⾔語モデルの⼒でもっと「誰でも使える」ロボットを カチャカのLLM連携機能を開発中 カチャカは毎⽉ソフトウェアを更新 LLM連携が来春リリース予定 ⾔葉での指⽰ ⾃分を動かすプログラムを ⾃動で⽣成‧実⾏
6. カチャカって何だ？ 6
7. カチャカは、 専⽤のシェルフと… カチャカとは？ 場所Aから場所Bへモノを運ぶロボット ★
8. カチャカは、 専⽤のシェルフと カチャっと⼀体化して カチャカとは？ 場所Aから場所Bへモノを運ぶロボット ★
9. カチャカは、 専⽤のシェルフと カチャっと⼀体化して 指定した場所に運ぶ ロボットです｡ カチャカとは？ 場所Aから場所Bへモノを運ぶロボット
10. 全域を⾃動⾛⾏し､独⾃のSLAMで地図作成 指定した⽬的地の間を棚を持って移動する カチャカとは？ 場所Aから場所Bへモノを運ぶロボット
11. おうちでの使い⽅: 配膳‧下げ膳に ⼦育てで⼿が離せない… 何往復もするのが⼤変… → 棚に置いて声をかけると ⾃動で⾷卓へ
12. おうちでの使い⽅: 動く収納家具 ✔ 「⽚付けに⾏く」から「収納が来る」に ✔ ものを探さない⽚付いたおうちに！
13. ヘルスケア領域(クリニック‧薬局)での事例 スタッフの運搬を肩代わり ✔ 重要な業務に専念 (患者さんと話す時間‧治療) ✔ 連携のミスを軽減 ロボットに渡す‧ ロボットから受け取る､という シンプルなルール
14. オフィスでの事例 お茶‧お菓⼦配り ⾃席で使う備品 共有備品の運搬 ゴミ箱 ✔ ものを探さない⽚付いたオフィスに ✔ 集中を切らさず業務に集中
15. 検査での事例 (電波強度分布の計測) スタッフが⾏っていた検査業務を代替 ✔ 業務の負担を⼤幅に軽減 ✔ 深夜でも検査を⾏えるようになり品質向上にも
16. カチャカ スマホアプリから簡単に操作 今年2023年の5⽉に発売 カチャカ本体：¥228,000 誰でも簡単に触れる⾼性能ロボ
17. 今⽇の話: カチャカのLLM連携 ⼤規模⾔語モデルの⼒でもっと「誰でも使える」ロボットを カチャカのLLM連携機能を開発中 カチャカは毎⽉ソフトウェアを更新 LLM連携が来春リリース予定 ⾔葉での指⽰ ⾃分を動かすプログラムを ⾃動で⽣成‧実⾏
18. ⾃由な⾃然⾔語⼊⼒による指⽰ みんなの席を回って 集荷の荷物集めてきて locations = get_location_list() for i = 1, #locations do move_shelf(“S01”, locations[i]) speak(“集荷物があれば載せて下さい ”) sleep(3) end 指⽰通りのプログラムを ⾃分で⽣成して実⾏ ⽂脈‧部屋のレイアウトなど 様々な情報を考慮
19. コード⽣成の枠組み ⽣成コードにはLuaを採⽤ • インジェクション耐性が強い • LLMが⽣成しやすい⾔語であること • ストリーミング実⾏がしやすいこと APIを組み込み関数としてLLMに渡す ストリーミング実⾏ • 実⾏可能⽚が来たら即座に実⾏ • レスポンスを良くするための⼯夫 move_to_location(“L02”) for i = 1, 3 do speak(tostring(i)) end speak(“起きてください”) move_shelf(“S01”, “L02”) speak(“歯磨きしましょう”)
20. コード⽣成の枠組み Role 間取り API Reference Coding Rules Format Basic Examples Negative Examples RAG based Examples Histories Kachaka Codegen Server (クラウド) GPT-4 (Function Calling) CoT (指⽰ → ⾏動 → コード) ‧jsonをストリーム処理 ‧ロボット体内の情報とexampleの RAGを合わせてプロンプト⽣成 Luaを体内で実⾏ System Prompt
21. 他にも⾊々: 「なんで⽌まった？」が分かる これは、⾞輪で移動するロボットの⼀⼈称視点での画像です。 いま、何らかの障害物があるせいで前に進めない状況になって います。 どうして進めないのか、「◦◦があるため進めません」という 形で説明してください。
22. API機能を公開しています ⾃由に弄り倒せる出来のいいロボットが⾃宅に…！ gRPCでAPI提供 Python / ROS2 ラッパも対応
23. API機能を公開しています ⾃由に弄り倒せる出来のいいロボットが⾃宅に…！ 実は発売前の3⽉時点で LLM連携デモが存在しました 最新技術×ロボットが⼿軽に
24. ⼤規模⾔語モデルで実際に「モノを動かす」の最先端 来春リリース予定…！
25. 宣伝