Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[論文紹介] Chip Placement with Deep Reinforcement L...
Search
tt1717
April 29, 2024
Research
0
47
[論文紹介] Chip Placement with Deep Reinforcement Learning
PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
tt1717
April 29, 2024
Tweet
Share
More Decks by tt1717
See All by tt1717
[論文サーベイ] Survey on GPT for Games
tt1717
0
23
[論文サーベイ] Survey on World Models for Games
tt1717
0
31
[論文サーベイ] Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks
tt1717
0
32
[論文サーベイ] Survey on Visualization in Deep Reinforcement Learning of Game Tasks 2
tt1717
0
30
[論文サーベイ] Survey on VLM and Reinforcement Learning in Game Tasks (Minecraft)
tt1717
0
49
[論文紹介] RT-1: Robotics Transformer for Real-World Control at Scale
tt1717
0
77
[論文紹介] Human-level control through deep reinforcement learning
tt1717
0
230
[論文紹介] Transformer-based World Models Are Happy With 100k Interactions
tt1717
0
100
[論文紹介] Deep Learning for Video Game Playing
tt1717
0
66
Other Decks in Research
See All in Research
渋谷Well-beingアンケート調査結果
shibuyasmartcityassociation
0
370
尺度開発における質的研究アプローチ(自主企画シンポジウム7:認知行動療法における尺度開発のこれから)
litalicolab
0
390
Large Vision Language Model (LVLM) に関する最新知見まとめ (Part 1)
onely7
23
5.4k
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
cocomoff
0
140
言語と数理の交差点:テキストの埋め込みと構造のモデル化 (IBIS 2024 チュートリアル)
yukiar
4
1k
[依頼講演] 適応的実験計画法に基づく効率的無線システム設計
k_sato
0
220
クロスセクター効果研究会 熊本都市交通リノベーション~「車1割削減、渋滞半減、公共交通2倍」の実現へ~
trafficbrain
0
340
LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去
kentaitakura
0
240
文化が形作る音楽推薦の消費と、その逆
kuri8ive
0
220
Geospecific View Generation - Geometry-Context Aware High-resolution Ground View Inference from Satellite Views
satai
2
150
20241115都市交通決起集会 趣旨説明・熊本事例紹介
trafficbrain
0
870
PostgreSQLにおける分散トレーシングの現在 - 第50回PostgreSQLアンカンファレンス
seinoyu
0
190
Featured
See All Featured
The Cult of Friendly URLs
andyhume
78
6.1k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.5k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
45
2.3k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.3k
How STYLIGHT went responsive
nonsquared
96
5.3k
What's in a price? How to price your products and services
michaelherold
244
12k
The Power of CSS Pseudo Elements
geoffreycrofte
74
5.4k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Adopting Sorbet at Scale
ufuk
74
9.2k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.7k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Transcript
・チップの各コンポーネントを構成要素のグラフとして表現し,こ のグラフを効率的にチップのキャンバス上に配置する方策ネット ワークを訓練する. ・従来のチップ配置では多くが人間の専門家の介入を必要としてい た. ・提案した学習ベース手法では経験を積むことで性能が向上し,新 しいチップ配置を高速に生成できる. ・チップ配置を強化学習問題として扱う新たなアプローチを提案. ・提案手法では過去のチップ配置経験から学習し,未知のチップブ ロックに対して最適化された配置を高速に生成する能力があること
を示した. どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? ・実際のAIアクセラレータチップ(Google TPUなど)に対して提案 手法を用いてチップ配置を行い,既存のベースライン(人間の専門 家の配置や他の自動配置ツール)と比較することで検証した. ・配置後のPPA(パワー,パフォーマンス,面積)の最適化を評価し た. Chip Placement with Deep Reinforcement Learning (arXiv 2020) Azalia Mirhoseini et al., Google Research. https://arxiv.org/abs/2004.10746 2024/04/28 論文を表す画像 被引用数:224 1/7
❖ 強化学習エージェントがマクロを一つずつ配置する様子を示す ❖ すべてのマクロ配置後,部品は力学的方法(力指向メソッド)を用い て配置される ➢ 力指向メソッド:互いに関連する部品は近くに配置され,関係のない部品 は離れた場所に配置されるようにすること ❖ 報酬はワイヤ長と輻輳の組み合わせで計算され,エージェントが次の
イテレーションでそのパラメータを最適化するために使用する ➢ ワイヤ長:チップの上で部品をつなぐワイヤの長さを推測する方法 ➢ 輻輳:あるエリア内に多くのワイヤが集中してしまう状態 提案手法 2/7
❖ 電子回路の構成要素 (ネットリスト) をGNNで処理 ❖ エッジ埋め込みの処理 ➢ ネットリスト内の異なるコンポーネント間の接続の強さや特性を表現 ❖ マクロ埋め込みの処理
➢ マクロ(大きな回路要素)の特性をベクトル形式で表現 ❖ 方策ネットワークによる処理 ➢ ネットリストの情報を基に,各マクロの配置における「行動」を選択する 提案手法 3/7
❖ CPUのチップ配置結果を視覚化したもの ➢ 左:事前学習済みの方策ネットワークによるゼロショット配置 ➢ 右:ファインチューニング後の方策ネットワークによる配置 ❖ ファインチューニング後の結果は配置が綺麗に揃っている 実験結果 4/7
❖ 強化学習とSA (焼きなまし法) によるサンプル効率の比較 ❖ ワイヤ長 (Wirelength) と輻輳 (Congestion)は低い方が良い ❖
強化学習を使用した提案手法がSAと比較して最適な配置をしていると 解釈できる 実験結果 5/7
❖ 強化学習を使用したチップ配置の最適化手法を提案した ❖ SA (焼きなまし法) と比較して最適配置を達成した まとめ 6/7
❖ チップにおける最適配置問題を強化学習で解こうとするアイデアが面 白かった ❖ 報酬設計の部分や実装コードがどのようになっているのか理解したい 感想 7/7