Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【論文紹介】Sketch-n-Sketch: Output-Directed Programm...

Avatar for Kaito Sugimoto Kaito Sugimoto
April 20, 2020
Research
0
120

【論文紹介】Sketch-n-Sketch: Output-Directed Programming for SVG

演習 III 論文紹介
内容に問題や不備がある場合は、お手数ですが hellorusk1998 [at] gmail.com までご連絡お願いいたします。
Avatar for Kaito Sugimoto

Kaito Sugimoto

April 20, 2020
Tweet

More Decks by Kaito Sugimoto

See All by Kaito Sugimoto
ChatGPTを活用した病院検索体験の改善 〜病院探しをもっと楽しく〜
Avatar for Kaito Sugimoto hellorusk
0
120
【論文紹介】Word Acquisition in Neural Language Models
Avatar for Kaito Sugimoto hellorusk
0
260
【論文紹介】Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning
Avatar for Kaito Sugimoto hellorusk
0
260
【論文紹介】Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Avatar for Kaito Sugimoto hellorusk
0
500
【論文紹介】Modeling Mathematical Notation Semantics in Academic Papers
Avatar for Kaito Sugimoto hellorusk
0
260
【論文紹介】Detecting Causal Language Use in Science Findings / Measuring Correlation-to-Causation Exaggeration in Press Releases
Avatar for Kaito Sugimoto hellorusk
0
160
【論文紹介】Efficient Domain Adaptation of Language Models via Adaptive Tokenization
Avatar for Kaito Sugimoto hellorusk
0
450
【論文紹介】SimCSE: Simple Contrastive Learning of Sentence Embeddings
Avatar for Kaito Sugimoto hellorusk
0
980
【論文紹介】Automated Concatenation of Embeddings for Structured Prediction
Avatar for Kaito Sugimoto hellorusk
0
270

Other Decks in Research

See All in Research
SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery
Avatar for SatAI.challenge satai
3
230
データサイエンティストの採用に関するアンケート
Avatar for The Japan DataScientist Society datascientistsociety
PRO
0
1.1k
Mechanistic Interpretability：解釈可能性研究の新たな潮流
Avatar for Koshiro Aoki koshiro_aoki
1
350
ASSADS：ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
Avatar for yumulab yumulab
1
420
Pix2Poly: A Sequence Prediction Method for End-to-end Polygonal Building Footprint Extraction from Remote Sensing Imagery
Avatar for SatAI.challenge satai
3
500
20250502_ABEJA_論文読み会_スライド
Avatar for Tomoki Fujihara flatton
0
180
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
Avatar for Traffic Brain trafficbrain
0
570
業界横断 副業・兼業者の実態調査
Avatar for fkske fkske
0
190
Trust No Bot? Forging Confidence in AI for Software Engineering
Avatar for Thomas Zimmermann tomzimmermann
1
250
A multimodal data fusion model for accurate and interpretable urban land use mapping with uncertainty analysis
Avatar for SatAI.challenge satai
3
230
CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations
Avatar for SatAI.challenge satai
3
220
Google Agent Development Kit (ADK) 入門 🚀
Avatar for MIKIO KUBO mickey_kubo
2
1.2k

Featured

See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
29
9.6k
KATA
Avatar for Megan Lloyd mclloyd
30
14k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
35
2.4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
Avatar for Tammy Everts tammyeverts
48
2.9k
Designing Experiences People Love
Avatar for Jonathan Moore moore
142
24k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
Avatar for soudai sone soudai
PRO
181
54k
Practical Orchestrator
Avatar for Shlomi Noach shlominoach
189
11k
Fantastic passwords and where to find them - at NoRuKo
Avatar for Phil Nash philnash
51
3.3k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
Avatar for Chris Coyier chriscoyier
507
140k
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
1
450
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
15
1.6k
Optimizing for Happiness
Avatar for Tom Preston-Werner mojombo
379
70k

Transcript

  1. Sketch-n-Sketch: Output-Directed Programming for SVG 演習 III  論文紹介 杉本 海人

    2020/04/20 1 / 23

  2. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 2 /

    23

  3. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 3 /

    23

  4. 概要 ベクター画像1を生成するプログラムを書くためのシステム Sketch-n-Sketch に, 新しい技術を取り入れた. 1点や直線などの幾何学的な図形で構成される画像 4 / 23

  5. デモ https://www.youtube.com/watch?v=ilwdnnAT2F0 5 / 23

  6. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 6 /

    23

  7. 背景 GUI: 人の目で分かりやすい ↕ CUI: 柔軟性が高い プログラマは GUI アプリケーションを使わずテキストベースでプロ グラムを書くことが多い.

    GUI のメリットも取り入れてプログラミングができれば, より便利で 魅力的になるのではないか. 7 / 23

  8. 背景 Output-Directed Programming (ODP) プログラムの出力結果自体をマウスなどで操作することで, プログラ ムを組み立てる手法 • 初心者にとって分かりやすいものに. •

    経験者にとっても, プログラミングでより多くのことができるよ うに. ODP 自体は, 今回の論文に限らず, 数多くの先行研究がある. 8 / 23

  9. 先行研究 Kevin Kwok and Guillermo Webster. 2016. Carbide Alpha https://alpha.trycarbide.com/

    9 / 23

  10. 先行研究 Ravi Chugh, Brian Hempel, Mitchell Spradlin, and Jacob Albers.

    2016. Programmatic and Direct Manipulation, Together at Last. （Sketch-n-Sketch の初期バージョン） 10 / 23

  11. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 11 /

    23

  12. この研究のポイント Sketch-n-Sketch に, 以下のシステムを新たに取り入れた. 1. 中間的な値の表示 2. フォーカス 3. リファクタリング

    4. Provenance Tracing 12 / 23

  13. 中間的な値の表示 出力に直接関係しない部分（点やオフセット）であっても, 表示して 操作できるようにすると利便性が高まる 13 / 23

  14. フォーカス プログラムの特定の部分の修正に役立つ 14 / 23

  15. フォーカス プログラムの特定の部分の修正に役立つ 15 / 23

  16. リファクタリング • 関数名の変更 • 関数のパラメータの順序の変更 • 関数のパラメータの削除 などを, 後からできる 16

    / 23

  17. Provenance Tracing プログラムの各部分がどこから来たかを記録し, 出力がソースコードのどの部分に相当するのかを常に対応づける 先ほど述べた「関数のパラメータの順序の変更」のような複雑なリ ファクタリングを ODP で実現する上で必要. 17 /

    23

  18. どんなメリットが...？ 1. 中間的な値の表示 2. フォーカス 3. リファクタリング 4. Provenance Tracing

    いずれも, ベクター画像の表現能力を高めるという目的だけにとどま らず, 今後 ODP をあらゆる種のプログラミングに適用していく上でも 重要. 18 / 23

  19. 実例 出力側の操作だけで, 以下の画像を作成できた. 19 / 23

  20. 1 概要 2 背景‧先行研究 3 この研究のポイント 4 議論 20 /

    23

  21. 画像作成の面での課題 Watch What I Do: Programming by Demonstration という本に挙げられ た

    15 の画像生成タスクのうち, 出力側の操作のみで完了できたのは 4 つ, 入力側（エディタ）の助けも借りて完了できたのは 2 つだった. 残りの 9 つを完了させるのに足りない機能 • テキストボックス • リスト操作 • 線の交点の操作 etc... 21 / 23

  22. Widget Visibility ボタンやパネルが多い！ → GUI の利便性が損なわれる どの Widget を出すかなど, 画面の表示もシステムでコントロールでき

    るようになると便利. 22 / 23

  23. ODP for Novices 初学者でも, 初歩的なプログラムをすぐに習得できるようなシステム にするにはどうすればいいのか. 23 / 23