Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文を読むコツ/Paper reading
Search
Yoshioka Lab (Keio CSG)
April 10, 2023
Research
0
290
論文を読むコツ/Paper reading
Yoshioka Lab (Keio CSG)
April 10, 2023
Tweet
Share
More Decks by Yoshioka Lab (Keio CSG)
See All by Yoshioka Lab (Keio CSG)
LLM時代の半導体・集積回路
kentaroy47
1
830
高精度、高効率アナログCompute-in-Memory回路に向けて
kentaroy47
2
600
LiDARセキュリティ最前線
kentaroy47
0
590
”良い”データセット構築を考える
kentaroy47
4
910
アナログが世界を救う? アナログコンピューティングの応用と課題
kentaroy47
0
900
A 0.7V 12b 160MS/s 12.8fJ/conv-step Pipelined-SAR ADC in 28nm CMOS with Digital Amplifier Technique
kentaroy47
0
89
吉岡研究室紹介(2022年度)
kentaroy47
0
3.3k
信頼されるLiDARに向けて
kentaroy47
0
1.1k
A 20ch TDC/ADC Hybrid SoC for 240x96-pixel 10%-Reflection <0.125%-Precision 200m-Range-Imaging LiDAR with Smart Accumulation Technique
kentaroy47
0
510
Other Decks in Research
See All in Research
論文紹介:Not All Tokens Are What You Need for Pretraining
kosuken
0
170
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
470
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
520
CVPR2025論文紹介:Unboxed
murakawatakuya
0
150
集合間Bregmanダイバージェンスと置換不変NNによるその学習
wasyro
0
140
業界横断 副業・兼業者の実態調査
fkske
0
240
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
10
4.2k
論文読み会 SNLP2025 Learning Dynamics of LLM Finetuning. In: ICLR 2025
s_mizuki_nlp
0
200
機械学習と数理最適化の融合 (MOAI) による革新
mickey_kubo
0
300
最適化と機械学習による問題解決
mickey_kubo
0
170
SSII2025 [SS1] レンズレスカメラ
ssii
PRO
2
1.1k
AWSで実現した大規模日本語VLM学習用データセット "MOMIJI" 構築パイプライン/buiding-momiji
studio_graph
2
480
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
135
9.5k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
Become a Pro
speakerdeck
PRO
29
5.5k
Git: the NoSQL Database
bkeepers
PRO
431
66k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Designing for humans not robots
tammielis
253
25k
BBQ
matthewcrist
89
9.8k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
How to Ace a Technical Interview
jacobian
279
23k
Site-Speed That Sticks
csswizardry
10
810
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
Transcript
論文を読むコツ 吉岡 2023/4/10 Kentaro Yoshioka(1/17)
◼ 21世紀で最も有名な論文の一つ ◆Transformerを提案 ◆現在のChatGPTなどへ続く NLP分野の革命へリード 今回読む論文 Kentaro Yoshioka(2/17)
◼ 新規性(Novelty)が最も重要 ◆過去の論文と同じでは論文は採択(Accept)されない ◆過去研究で何がされていなかったのか、 自分の論文ではどう違うのかを明確に記述しなければならない ➢例:過去にはなかった脆弱性を明らかにした ➢例:新しい動作原理に基づくニューラルネットや回路ブロックを提案する ◆新しい事をする、というのも大事だが有効性を実証するのも重要 ⚫ 新しいだけで性能が下がってしまったら誰も使いたくはない
➢例:提案する技術により◦◦%性能を向上することを実験で確認 論文で重要なこと Kentaro Yoshioka(3/17)
◼ 引用数で論文のインパクトは測れる ◆多くの人が引用する、ということは多く読まれている/多く使われている ◼ https://scholar.google.co.jp/ 論文のインパクト Kentaro Yoshioka(4/17) Attention..論文を引用している記事も表示できる
◼ Abstract ◆論文を短くまとめたもの。何でこの論文が重要かはAbst.に煮詰められている。 ◼ イントロダクション ◆この論文はどのような問題を解決しようとしているか? ⚫ 例:より精度の高いニューラルネットがあると便利だよね ⚫ 例:より消費電力が小さい回路があると便利だよね
⚫ レベルのことを言っている。 ◼ Related works ◆過去に発表された論文をまとめつつ、本研究がどう違うかについて触れる (一般的な)論文の構成 Kentaro Yoshioka(5/17)
◼ Methodology(提案技術) ◆提案する技術の詳細について説明 ⚫ 〇〇機構を◎◎の目的で導入 ⚫ 例:今までなかったTransformerという アーキテクチャを提案。従来RNNよりも計算効率に優れる ◼ Evaluation(実験結果)
◆提案した技術の有用性を実証する ◆例:Transformerを使うとこんなに性能が良くなるよ (一般的な)論文の構成 Kentaro Yoshioka(6/17)
◼ 最初読んでもわからないことばかり ◼ まずは・・ ◆なぜその論文は評価されているのか?どこが面白いのか?を説明できるように読むと良い ⚫ 新規性、つまり従来との差に注目して読む ◆実験や実装の細かい部分は最初は読み飛ばして良い ◼ 教員も読み飛ばして読んでます
◆重要そうな論文だけ精読(細かい部分だけ読む)しています ◼ 有名な論文は日本語の解説があったりするのでググると良い 論文の読み方 Kentaro Yoshioka(7/17)