Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【論文紹介】Sketch-n-Sketch: Output-Directed Programm...
Search
Kaito Sugimoto
April 20, 2020
Research
0
120
【論文紹介】Sketch-n-Sketch: Output-Directed Programming for SVG
演習 III 論文紹介
内容に問題や不備がある場合は、お手数ですが hellorusk1998 [at] gmail.com までご連絡お願いいたします。
Kaito Sugimoto
April 20, 2020
Tweet
Share
More Decks by Kaito Sugimoto
See All by Kaito Sugimoto
ChatGPTを活用した病院検索体験の改善 〜病院探しをもっと楽しく〜
hellorusk
0
130
【論文紹介】Word Acquisition in Neural Language Models
hellorusk
0
290
【論文紹介】Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning
hellorusk
0
260
【論文紹介】Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
hellorusk
0
520
【論文紹介】Modeling Mathematical Notation Semantics in Academic Papers
hellorusk
0
280
【論文紹介】Detecting Causal Language Use in Science Findings / Measuring Correlation-to-Causation Exaggeration in Press Releases
hellorusk
0
160
【論文紹介】Efficient Domain Adaptation of Language Models via Adaptive Tokenization
hellorusk
0
470
【論文紹介】SimCSE: Simple Contrastive Learning of Sentence Embeddings
hellorusk
0
1k
【論文紹介】Automated Concatenation of Embeddings for Structured Prediction
hellorusk
0
280
Other Decks in Research
See All in Research
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
400
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
3
1.3k
HoliTracer:Holistic Vectorization of Geographic Objects from Large-Size Remote Sensing Imagery
satai
3
140
AWSで実現した大規模日本語VLM学習用データセット "MOMIJI" 構築パイプライン/buiding-momiji
studio_graph
2
810
ip71_contraflow_reconfiguration
stkmsd
0
110
[論文紹介] Intuitive Fine-Tuning
ryou0634
0
130
EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues
satai
3
250
音声感情認識技術の進展と展望
nagase
0
300
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
700
論文読み会 SNLP2025 Learning Dynamics of LLM Finetuning. In: ICLR 2025
s_mizuki_nlp
0
290
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
3
370
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
270
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
24
3.7k
How to Ace a Technical Interview
jacobian
280
24k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
How STYLIGHT went responsive
nonsquared
100
5.9k
How GitHub (no longer) Works
holman
315
140k
A Tale of Four Properties
chriscoyier
161
23k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Scaling GitHub
holman
463
140k
Practical Orchestrator
shlominoach
190
11k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
34
2.3k
Visualization
eitanlees
149
16k
Transcript
Sketch-n-Sketch: Output-Directed Programming for SVG 演習 III 論文紹介 杉本 海人
2020/04/20 1 / 23
1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 2 /
23
1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 3 /
23
概要 ベクター画像1を生成するプログラムを書くためのシステム Sketch-n-Sketch に, 新しい技術を取り入れた. 1点や直線などの幾何学的な図形で構成される画像 4 / 23
デモ https://www.youtube.com/watch?v=ilwdnnAT2F0 5 / 23
1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 6 /
23
背景 GUI: 人の目で分かりやすい ↕ CUI: 柔軟性が高い プログラマは GUI アプリケーションを使わずテキストベースでプロ グラムを書くことが多い.
GUI のメリットも取り入れてプログラミングができれば, より便利で 魅力的になるのではないか. 7 / 23
背景 Output-Directed Programming (ODP) プログラムの出力結果自体をマウスなどで操作することで, プログラ ムを組み立てる手法 • 初心者にとって分かりやすいものに. •
経験者にとっても, プログラミングでより多くのことができるよ うに. ODP 自体は, 今回の論文に限らず, 数多くの先行研究がある. 8 / 23
先行研究 Kevin Kwok and Guillermo Webster. 2016. Carbide Alpha https://alpha.trycarbide.com/
9 / 23
先行研究 Ravi Chugh, Brian Hempel, Mitchell Spradlin, and Jacob Albers.
2016. Programmatic and Direct Manipulation, Together at Last. (Sketch-n-Sketch の初期バージョン) 10 / 23
1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 11 /
23
この研究のポイント Sketch-n-Sketch に, 以下のシステムを新たに取り入れた. 1. 中間的な値の表示 2. フォーカス 3. リファクタリング
4. Provenance Tracing 12 / 23
中間的な値の表示 出力に直接関係しない部分(点やオフセット)であっても, 表示して 操作できるようにすると利便性が高まる 13 / 23
フォーカス プログラムの特定の部分の修正に役立つ 14 / 23
フォーカス プログラムの特定の部分の修正に役立つ 15 / 23
リファクタリング • 関数名の変更 • 関数のパラメータの順序の変更 • 関数のパラメータの削除 などを, 後からできる 16
/ 23
Provenance Tracing プログラムの各部分がどこから来たかを記録し, 出力がソースコードのどの部分に相当するのかを常に対応づける 先ほど述べた「関数のパラメータの順序の変更」のような複雑なリ ファクタリングを ODP で実現する上で必要. 17 /
23
どんなメリットが...? 1. 中間的な値の表示 2. フォーカス 3. リファクタリング 4. Provenance Tracing
いずれも, ベクター画像の表現能力を高めるという目的だけにとどま らず, 今後 ODP をあらゆる種のプログラミングに適用していく上でも 重要. 18 / 23
実例 出力側の操作だけで, 以下の画像を作成できた. 19 / 23
1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 20 /
23
画像作成の面での課題 Watch What I Do: Programming by Demonstration という本に挙げられ た
15 の画像生成タスクのうち, 出力側の操作のみで完了できたのは 4 つ, 入力側(エディタ)の助けも借りて完了できたのは 2 つだった. 残りの 9 つを完了させるのに足りない機能 • テキストボックス • リスト操作 • 線の交点の操作 etc... 21 / 23
Widget Visibility ボタンやパネルが多い! → GUI の利便性が損なわれる どの Widget を出すかなど, 画面の表示もシステムでコントロールでき
るようになると便利. 22 / 23
ODP for Novices 初学者でも, 初歩的なプログラムをすぐに習得できるようなシステム にするにはどうすればいいのか. 23 / 23