Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

【論文紹介】Sketch-n-Sketch: Output-Directed Programm...

Avatar for Kaito Sugimoto Kaito Sugimoto
April 20, 2020
Research
0
120

【論文紹介】Sketch-n-Sketch: Output-Directed Programming for SVG

演習 III 論文紹介
内容に問題や不備がある場合は、お手数ですが hellorusk1998 [at] gmail.com までご連絡お願いいたします。

Avatar for Kaito Sugimoto

Kaito Sugimoto

April 20, 2020
Tweet

More Decks by Kaito Sugimoto

See All by Kaito Sugimoto
ChatGPTを活用した病院検索体験の改善 〜病院探しをもっと楽しく〜
Avatar for Kaito Sugimoto hellorusk
0
140
【論文紹介】Word Acquisition in Neural Language Models
Avatar for Kaito Sugimoto hellorusk
0
310
【論文紹介】Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning
Avatar for Kaito Sugimoto hellorusk
0
280
【論文紹介】Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Avatar for Kaito Sugimoto hellorusk
0
530
【論文紹介】Modeling Mathematical Notation Semantics in Academic Papers
Avatar for Kaito Sugimoto hellorusk
0
300
【論文紹介】Detecting Causal Language Use in Science Findings / Measuring Correlation-to-Causation Exaggeration in Press Releases
Avatar for Kaito Sugimoto hellorusk
0
170
【論文紹介】Efficient Domain Adaptation of Language Models via Adaptive Tokenization
Avatar for Kaito Sugimoto hellorusk
0
480
【論文紹介】SimCSE: Simple Contrastive Learning of Sentence Embeddings
Avatar for Kaito Sugimoto hellorusk
0
1.1k
【論文紹介】Automated Concatenation of Embeddings for Structured Prediction
Avatar for Kaito Sugimoto hellorusk
0
290

Other Decks in Research

See All in Research
Language Models Are Implicitly Continuous
Avatar for Sho Yokoi eumesy
PRO
0
350
投資戦略202508
Avatar for Pragmaworks pw
0
580
超高速データサイエンス
Avatar for Yusuke Matsui matsui_528
1
300
EcoWikiRS: Learning Ecological Representation of Satellite Images from Weak Supervision with Species Observation and Wikipedia
Avatar for SatAI.challenge satai
3
420
LLM-Assisted Semantic Guidance for Sparsely Annotated Remote Sensing Object Detection
Avatar for SatAI.challenge satai
3
140
大学見本市2025 JSTさきがけ事業セミナー「顔の見えないセンシング技術：多様なセンサにもとづく個人情報に配慮した人物状態推定」
Avatar for Mariko Isogawa miso2024
0
190
Sat2City:3D City Generation from A Single Satellite Image with Cascaded Latent Diffusion
Avatar for SatAI.challenge satai
4
320
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
Avatar for Shotaro Ishihara upura
0
360
AWSで実現した大規模日本語VLM学習用データセット "MOMIJI" 構築パイプライン/buiding-momiji
Avatar for 開発室Graph studio_graph
2
980
snlp2025_prevent_llm_spikes
Avatar for Sho Takase takase
0
420
Open Gateway 5GC利用への期待と不安
Avatar for Stellar Craft, Inc. stellarcraft
2
160
Remote sensing × Multi-modal meta survey
Avatar for SatAI.challenge satai
4
630

Featured

See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
Avatar for David Neal reverentgeek
52
5.7k
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
65
8.2k
The Invisible Side of Design
Avatar for Vitaly Friedman smashingmag
302
51k
No one is an island. Learnings from fostering a developers community.
Avatar for Antonio thoeni
21
3.5k
Rebuilding a faster, lazier Slack
Avatar for samanthasiow samanthasiow
84
9.3k
A better future with KSS
Avatar for Kyle Neath kneath
240
18k
Bootstrapping a Software Product
Avatar for Garrett Dimon garrettdimon
PRO
307
120k
Why You Should Never Use an ORM
Avatar for John Nunemaker jnunemaker
PRO
61
9.6k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
Avatar for Dan Newman danielanewman
231
22k
For a Future-Friendly Web
Avatar for Brad Frost brad_frost
180
10k
Java REST API Framework Comparison - PWX 2021
Avatar for Matt Raible mraible
34
9k
[RailsConf 2023 Opening Keynote] The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
31
9.8k

Transcript

  1. Sketch-n-Sketch: Output-Directed Programming for SVG 演習 III  論文紹介 杉本 海人

    2020/04/20 1 / 23

  2. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 2 /

    23

  3. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 3 /

    23

  4. 概要 ベクター画像1を生成するプログラムを書くためのシステム Sketch-n-Sketch に, 新しい技術を取り入れた. 1点や直線などの幾何学的な図形で構成される画像 4 / 23

  5. デモ https://www.youtube.com/watch?v=ilwdnnAT2F0 5 / 23

  6. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 6 /

    23

  7. 背景 GUI: 人の目で分かりやすい ↕ CUI: 柔軟性が高い プログラマは GUI アプリケーションを使わずテキストベースでプロ グラムを書くことが多い.

    GUI のメリットも取り入れてプログラミングができれば, より便利で 魅力的になるのではないか. 7 / 23

  8. 背景 Output-Directed Programming (ODP) プログラムの出力結果自体をマウスなどで操作することで, プログラ ムを組み立てる手法 • 初心者にとって分かりやすいものに. •

    経験者にとっても, プログラミングでより多くのことができるよ うに. ODP 自体は, 今回の論文に限らず, 数多くの先行研究がある. 8 / 23

  9. 先行研究 Kevin Kwok and Guillermo Webster. 2016. Carbide Alpha https://alpha.trycarbide.com/

    9 / 23

  10. 先行研究 Ravi Chugh, Brian Hempel, Mitchell Spradlin, and Jacob Albers.

    2016. Programmatic and Direct Manipulation, Together at Last. （Sketch-n-Sketch の初期バージョン） 10 / 23

  11. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 11 /

    23

  12. この研究のポイント Sketch-n-Sketch に, 以下のシステムを新たに取り入れた. 1. 中間的な値の表示 2. フォーカス 3. リファクタリング

    4. Provenance Tracing 12 / 23

  13. 中間的な値の表示 出力に直接関係しない部分（点やオフセット）であっても, 表示して 操作できるようにすると利便性が高まる 13 / 23

  14. フォーカス プログラムの特定の部分の修正に役立つ 14 / 23

  15. フォーカス プログラムの特定の部分の修正に役立つ 15 / 23

  16. リファクタリング • 関数名の変更 • 関数のパラメータの順序の変更 • 関数のパラメータの削除 などを, 後からできる 16

    / 23

  17. Provenance Tracing プログラムの各部分がどこから来たかを記録し, 出力がソースコードのどの部分に相当するのかを常に対応づける 先ほど述べた「関数のパラメータの順序の変更」のような複雑なリ ファクタリングを ODP で実現する上で必要. 17 /

    23

  18. どんなメリットが...？ 1. 中間的な値の表示 2. フォーカス 3. リファクタリング 4. Provenance Tracing

    いずれも, ベクター画像の表現能力を高めるという目的だけにとどま らず, 今後 ODP をあらゆる種のプログラミングに適用していく上でも 重要. 18 / 23

  19. 実例 出力側の操作だけで, 以下の画像を作成できた. 19 / 23

  20. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 20 /

    23

  21. 画像作成の面での課題 Watch What I Do: Programming by Demonstration という本に挙げられ た

    15 の画像生成タスクのうち, 出力側の操作のみで完了できたのは 4 つ, 入力側（エディタ）の助けも借りて完了できたのは 2 つだった. 残りの 9 つを完了させるのに足りない機能 • テキストボックス • リスト操作 • 線の交点の操作 etc... 21 / 23

  22. Widget Visibility ボタンやパネルが多い！ → GUI の利便性が損なわれる どの Widget を出すかなど, 画面の表示もシステムでコントロールでき

    るようになると便利. 22 / 23

  23. ODP for Novices 初学者でも, 初歩的なプログラムをすぐに習得できるようなシステム にするにはどうすればいいのか. 23 / 23