カチャカLLM連携 - Speaker Deck

Slide 1

Slide 1 text

カチャカ LLM連携 2023-12-20 Microsoft AI for Startup Day 株式会社Preferred Robotics 渡辺貴史

Slide 2

Slide 2 text

⾃⼰紹介渡辺貴史 (わたなべたかふみ) 1998年⽣まれ。千葉県⽴千葉⾼校出⾝。 NHK/ABUロボコンに出場 (東京⼤学RoboTech) 2023年東⼤稲⾒研を修⼠号を取得今年春からPreferred Roboticsに⼊社

Slide 3

Slide 3 text

Preferred Robotics 会社紹介 AI技術に強いPreferred Networksから 2021年11⽉にカーブアウト独⾃モデルの学習やモデル最適化､エッジデバイスでの推論⾼速化など様々なAI技術を⾃律移動ロボットに応⽤

Slide 4

Slide 4 text

Preferred Robotics 会社紹介家庭⽤ロボットカチャカ⼩型床洗浄ロボット HAPiiBOT 4 基盤ソフトを共通化しつつB2C, B2B両輪のロボットを開発「すべての⼈に、ロボットを」を掲げています

Slide 5

Slide 5 text

今⽇の話: カチャカのLLM連携⼤規模⾔語モデルの⼒でもっと「誰でも使える」ロボットをカチャカのLLM連携機能を開発中カチャカは毎⽉ソフトウェアを更新 LLM連携が来春リリース予定⾔葉での指⽰⾃分を動かすプログラムを⾃動で⽣成‧実⾏

Slide 6

Slide 6 text

カチャカって何だ？ 6

Slide 7

Slide 7 text

カチャカは、専⽤のシェルフと… カチャカとは？場所Aから場所Bへモノを運ぶロボット ★

Slide 8

Slide 8 text

カチャカは、専⽤のシェルフとカチャっと⼀体化してカチャカとは？場所Aから場所Bへモノを運ぶロボット ★

Slide 9

Slide 9 text

カチャカは、専⽤のシェルフとカチャっと⼀体化して指定した場所に運ぶロボットです｡カチャカとは？場所Aから場所Bへモノを運ぶロボット

Slide 10

Slide 10 text

全域を⾃動⾛⾏し､独⾃のSLAMで地図作成指定した⽬的地の間を棚を持って移動するカチャカとは？場所Aから場所Bへモノを運ぶロボット

Slide 11

Slide 11 text

おうちでの使い⽅: 配膳‧下げ膳に⼦育てで⼿が離せない… 何往復もするのが⼤変… → 棚に置いて声をかけると⾃動で⾷卓へ

Slide 12

Slide 12 text

おうちでの使い⽅: 動く収納家具 ✔ 「⽚付けに⾏く」から「収納が来る」に ✔ ものを探さない⽚付いたおうちに！

Slide 13

Slide 13 text

ヘルスケア領域(クリニック‧薬局)での事例スタッフの運搬を肩代わり ✔ 重要な業務に専念 (患者さんと話す時間‧治療) ✔ 連携のミスを軽減ロボットに渡す‧ ロボットから受け取る､というシンプルなルール

Slide 14

Slide 14 text

オフィスでの事例お茶‧お菓⼦配り⾃席で使う備品共有備品の運搬ゴミ箱 ✔ ものを探さない⽚付いたオフィスに ✔ 集中を切らさず業務に集中

Slide 15

Slide 15 text

検査での事例 (電波強度分布の計測) スタッフが⾏っていた検査業務を代替 ✔ 業務の負担を⼤幅に軽減 ✔ 深夜でも検査を⾏えるようになり品質向上にも

Slide 16

Slide 16 text

カチャカスマホアプリから簡単に操作今年2023年の5⽉に発売カチャカ本体：¥228,000 誰でも簡単に触れる⾼性能ロボ

Slide 17

Slide 17 text

Slide 18

Slide 18 text

⾃由な⾃然⾔語⼊⼒による指⽰みんなの席を回って集荷の荷物集めてきて locations = get_location_list() for i = 1, #locations do move_shelf(“S01”, locations[i]) speak(“集荷物があれば載せて下さい ”) sleep(3) end 指⽰通りのプログラムを⾃分で⽣成して実⾏⽂脈‧部屋のレイアウトなど様々な情報を考慮

Slide 19

Slide 19 text

コード⽣成の枠組み⽣成コードにはLuaを採⽤ ● インジェクション耐性が強い ● LLMが⽣成しやすい⾔語であること ● ストリーミング実⾏がしやすいこと APIを組み込み関数としてLLMに渡すストリーミング実⾏ ● 実⾏可能⽚が来たら即座に実⾏ ● レスポンスを良くするための⼯夫 move_to_location(“L02”) for i = 1, 3 do speak(tostring(i)) end speak(“起きてください”) move_shelf(“S01”, “L02”) speak(“歯磨きしましょう”)

Slide 20

Slide 20 text

コード⽣成の枠組み Role 間取り API Reference Coding Rules Format Basic Examples Negative Examples RAG based Examples Histories Kachaka Codegen Server (クラウド) GPT-4 (Function Calling) CoT (指⽰ → ⾏動 → コード) ‧jsonをストリーム処理 ‧ロボット体内の情報とexampleの RAGを合わせてプロンプト⽣成 Luaを体内で実⾏ System Prompt

Slide 21

Slide 21 text

他にも⾊々: 「なんで⽌まった？」が分かるこれは、⾞輪で移動するロボットの⼀⼈称視点での画像です。いま、何らかの障害物があるせいで前に進めない状況になっています。どうして進めないのか、「○○があるため進めません」という形で説明してください。

Slide 22

Slide 22 text

API機能を公開しています⾃由に弄り倒せる出来のいいロボットが⾃宅に…！ gRPCでAPI提供 Python / ROS2 ラッパも対応

Slide 23

Slide 23 text

API機能を公開しています⾃由に弄り倒せる出来のいいロボットが⾃宅に…！実は発売前の3⽉時点で LLM連携デモが存在しました最新技術×ロボットが⼿軽に

Slide 24

Slide 24 text

⼤規模⾔語モデルで実際に「モノを動かす」の最先端来春リリース予定…！