Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Copilot体験の実装に役立ちそうなSemantic interpreter論文 / Sem...
Search
r-kagaya
July 05, 2023
Technology
1
600
Copilot体験の実装に役立ちそうなSemantic interpreter論文 / Semantic Interpreter for copilot implementation
r-kagaya
July 05, 2023
Tweet
Share
More Decks by r-kagaya
See All by r-kagaya
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
46
30k
CursorとDevinが仲間!?AI駆動で新規プロダクト開発に挑んだ3ヶ月を振り返る / A Story of New Product Development with Cursor and Devin
rkaga
6
2.6k
データと事例で振り返るDevin導入の"リアル" / The Realities of Devin Reflected in Data and Case Studies
rkaga
3
4.1k
AIコーディングエージェントを 「使いこなす」ための実践知と現在地 in ログラス / How to Use AI Coding Agent in Loglass
rkaga
4
2.2k
AIコーディングワークフローの試行 〜AIエージェント×ワークフローでの自動化を目指して〜
rkaga
3
5.5k
Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update
rkaga
11
6.5k
Devin入門 〜月500ドルから始まるAIチームメイトとの開発生活〜 / Introduction Devin 〜Development With AI Teammates〜
rkaga
7
4.7k
デザインパターンで理解するLLMエージェントの作り方 / How to develop an LLM agent using agentic design patterns
rkaga
17
6.9k
Automated Promptingを目指すその前に / Before we can aim for Automated Prompting
rkaga
1
270
Other Decks in Technology
See All in Technology
Абьюзим random_bytes(). Фёдор Кулаков, разработчик Lamoda Tech
lamodatech
0
330
PHP開発者のためのSOLID原則再入門 #phpcon / PHP Conference Japan 2025
shogogg
4
730
A2Aのクライアントを自作する
rynsuke
1
170
Liquid Glass革新とSwiftUI/UIKit進化
fumiyasac0921
0
200
米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
2
1.1k
製造業からパッケージ製品まで、あらゆる領域をカバー!生成AIを利用したテストシナリオ生成 / 20250627 Suguru Ishii
shift_evolve
PRO
1
140
Snowflake Summit 2025 データエンジニアリング関連新機能紹介 / Snowflake Summit 2025 What's New about Data Engineering
tiltmax3
0
310
2年でここまで成長!AWSで育てたAI Slack botの軌跡
iwamot
PRO
4
690
Navigation3でViewModelにデータを渡す方法
mikanichinose
0
220
UIテスト自動化サポート- Testbed for XCUIAutomation practice
notoroid
0
130
Azure AI Foundryでマルチエージェントワークフロー
seosoft
0
180
AIのAIによるAIのための出力評価と改善
chocoyama
2
550
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
The Pragmatic Product Professional
lauravandoore
35
6.7k
Side Projects
sachag
455
42k
Speed Design
sergeychernyshev
32
1k
Fireside Chat
paigeccino
37
3.5k
The Invisible Side of Design
smashingmag
299
51k
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Transcript
1 Copilot体験の実装に役立ちそうな Semantic interpreter論文 2023.07.05 @r-kagaya LLM Meetup Tokyo #3
2 自己紹介 株式会社ログラスのソフトウェアエンジニア イネーブルメントチームの一員としてプロダクト組織の横断 課題に取り組んだ後、現在は生成AI/LLMチームの立ち上 げとLLMを用いた機能開発にトライ中 略歴 新卒で入社したヤフー株式会社でID連携システムの開発に携わった 後に、2022年に株式会社ログラスに入社 r-kagaya
@r-kagaya
3 最初にデモ
4 デモ
5 Copilot??
6 Copilot体験 (正直定義は深く考えず使ってます) ・AIアシスタントのような、何となくイメージに近そうな体験を備えたサービスは少しづつ増 えてきている ・システム側が意図を読み取って代わりにタスクをこなしてくれる体験? ・自然言語での指示は一つのパターン ・MS/Googleの二社が先行。LindyやAdeptなども良さげ ・価値の一つとして想定されるのは、利用ハードルの低下 ・Notionですら使いこなし術がバズるのに、いわんやBtoB
SaaSは
7 Copilot体験 Microsoft 365 Copilot https://xtech.nikkei.com/atcl/nxt/column/18/01679/060700115/ ・言わずと知れた代表格
8 Copilot体験 Google Duet AI https://support.google.com/docs/answer/13676332?hl=en https://it.impress.co.jp/mwimgs/7/1/-/img_7100b73084d5c6fec3acd de77e6e88b0137770.jpg ・Google Workspaceアプリに導入される
・Help me write(Googleドキュメント)で文章を自動で生成してくれたりする
9 Copilot体験 Windows Copilotも https://japan.cnet.com/article/35206022/ ・OpenAIのGPTベース ・Windowsデスクトップ常駐の対話型AI ・設定変更や各種操作、PDF文章要約といった作業を自然言語で指示可能 ・つまり進化したイルカ
10 Copilot体験 ThoughtSpot Sage https://www.thoughtspot.com/jp/product/sage ・検索形式でデータ抽出・分析が可能 ・SageがGPT-3を統合した新サービス(らしい)
11 どう作る?
12 どう作る? ミニミニミニ版を作ってみた時は 機能概要 ・経営データの集計・分析を行うレポート機能 ・レポートの生成を自然言語で行えるようにした ・ex: 2023年1月から3月の実績を教えて 内部的には ・スロットフィリング的なことをやってる
・レポート生成に必要な情報を自然言語から抽 出 ・抽出した情報を元にレポート生成
13 どう作る? 今ならFunction calling? "function_call": { "name": "genGraphFromReportData", arguments: {
"period": "[2022/04, 2022/05, 2022/06]", "amount": ["100", "200", "300"], "graph_type": "bar" } } ・想定ユースケースをひたすらFunction Calling ・レスポンスのfunction_callを見て、アプリケー ションコードを書く
14 どう作る? 良さげな論文 Natural Language Commanding via Program Synthesis https://www.itmedia.co.jp/news/articles/2306/14/news067.html
15 Semantic Interpreter
16 Semantic Interpreter Semantic Interpreter概要 ・ユーザーが入力した自然言語でPowerPointを動かす手法についての論文 ・OpenAIのtext-davinci-003モデルを利用 ざっくり流れ ・ユーザーが操作内容を入力 ・ex:
「キーポイントをすべて太くする」 ・自然言語 ⇔ Office Domain Specific Language(ODSL)への変換をLLMが担う ・Officeアプリケーション上におけるアクション表現に特化したドメイン固有言語 ・LLMフレンドリーな言語設計 ・ODSLを、アプリケーションAPI(Office-JS2など)で書かれたプログラムに変換・実行 参考: https://www.itmedia.co.jp/news/articles/2306/14/news067.html https://aiboom.net/archives/52746
17 Semantic Interpreter DSL設計 https://arxiv.org/abs/2306.03460 ・汎用プログラミング言語(JavaScript、C++など)ではなく、専用のDSLを設計 ・理由: スコープが広すぎる、安全なコードを担保するのが難しい、etc ・同じことを複数の方法で出来るようにしない方がいい ・ユーザーが簡単なundo操作で元に戻せるもの、不正な状態になる可能性がない操作に限定
・データ構造と抽象化 ・エンティティ ・ユーザーがアプリケーションで操作したい主要なデータ構造、has-a関係を持てる ・ex: slide → shape → textRange ・ステートメント ・エンティティに対する操作、関数 ・Select, Insert, format, delete
18 Semantic Interpreter 全体フロー https://arxiv.org/abs/2306.03460 ・プロンプト生成 ・カテゴリ分類 ・セマンティック検索 ・ODSL生成 ・ODSL
Interpreter ・アプリケーションコード生成
19 Semantic Interpreter ODSL https://arxiv.org/abs/2306.03460
20 ちなみにプロンプト https://arxiv.org/abs/2306.03460 ・エンティティと追加コンテキストが必 要か判定 ・エンティティやコンテキストの有無を 元にプロンプトを出しわけてるっぽい
21 ちなみにプロンプト https://arxiv.org/abs/2306.03460 ・ODSLを生成 ・エンティティ等の値に応じて、few shotのサンプルは動的に変化
22 まとめ • Copilotな体験は(少しづつ and ほぼMS/Googleだが)増えつつある ◦ システム側が意図を読み取って代わりにタスクをこなしてくれる体 験? ◦
一つのパターンが自然言語の指示 • 価値の一つとして、ユーザーの利用ハードルの低下はありそう • 参考になるアプローチとして「Semantic Interpreter」を紹介 • プロンプト構築部分などの工夫も書かれてるので興味あればぜひ ◦ https://arxiv.org/abs/2306.03460 • 読み終わらず/資料準備追いつかずだったが、色々書いてて面白い
23