Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
実行ファイルにおけるバイナリ差分 アルゴリズム/cybozulabs-youth10-minoji
Search
Cybozu
PRO
March 31, 2021
Technology
0
520
実行ファイルにおけるバイナリ差分 アルゴリズム/cybozulabs-youth10-minoji
Cybozu
PRO
March 31, 2021
Tweet
Share
More Decks by Cybozu
See All by Cybozu
kintone開発組織のAWSエンジニアの紹介
cybozuinsideout
PRO
0
33
kintone開発組織のサービスプラットフォームチームの紹介
cybozuinsideout
PRO
0
24
サイボウズフロントエンドエキスパートチームについて / FrontendExpert Team
cybozuinsideout
PRO
6
40k
2024/11/25 ReDesigner Online Meetup 会社紹介
cybozuinsideout
PRO
0
390
サイボウズ 開発本部採用ピッチ / Cybozu Engineer Recruit
cybozuinsideout
PRO
9
50k
テクニカルライティング
cybozuinsideout
PRO
4
600
サイボウズのアジャイルクオリティ2024
cybozuinsideout
PRO
3
500
モブに早く慣れたい人のためのガイド2024
cybozuinsideout
PRO
3
670
モバイル
cybozuinsideout
PRO
3
360
Other Decks in Technology
See All in Technology
目標と時間軸 〜ベイビーステップでケイパビリティを高めよう〜
kakehashi
PRO
8
970
JavaにおけるNull非許容性
skrb
2
2.7k
プルリクエストレビューを終わらせるためのチーム体制 / The Team for Completing Pull Request Reviews
nekonenene
3
1k
日経のデータベース事業とElasticsearch
hinatades
PRO
0
260
LINE NEWSにおけるバックエンド開発
lycorptech_jp
PRO
0
350
Global Databaseで実現するマルチリージョン自動切替とBlue/Greenデプロイ
j2yano
0
160
事業を差別化する技術を生み出す技術
pyama86
2
500
手を動かしてレベルアップしよう!
maruto
0
250
2/18 Making Security Scale: メルカリが考えるセキュリティ戦略 - Coincheck x LayerX x Mercari
jsonf
0
250
データエンジニアリング領域におけるDuckDBのユースケース
chanyou0311
9
2.6k
困難を「一般解」で解く
fujiwara3
7
1.7k
Cracking the Coding Interview 6th Edition
gdplabs
14
28k
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Documentation Writing (for coders)
carmenintech
68
4.6k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Done Done
chrislema
182
16k
4 Signs Your Business is Dying
shpigford
183
22k
Unsuck your backbone
ammeep
669
57k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Why Our Code Smells
bkeepers
PRO
336
57k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Transcript
実行ファイルにおけるバイナリ差分 アルゴリズム サイボウズラボユース成果報告会 10期 美濃地 正貴 (hiromi_mi) 2021年3月30日
自己紹介 • 美濃地 正貴 (みのじ まさたか) – Twitter: @_hiromi_mi –
https://hiromi-mi.github.io/ • 2020年8月から活動 – メンター: 光成さん – 今後も継続予定です。現状報告をし ます
テーマ • 各種バイナリ差分アルゴリズムの調査や実装 – Levenshtein 距離 にもとづく動的計画法 – bsdiff –
Chromium Courgette • 現状: – Levenshtein距離とBsdiff アルゴリズムを再実装 – Courgette の実装解読および再実装をしている
動機 • ソフトウエア更新におけるデータ通信量削減 – 無尽蔵にデータが使えない環境がまだまだある – 日本でナローバンド回線は 企業13% 家庭7% [1]
– 4G などの従量課金通信 • 多くのパッケージマネージャはソフトウエア更 新時に更新版のバイナリファイルを全て転送し ている – 旧版と新版の差分を転送すると小さくならないか?
パッチファイルの基本構造 • 以下の操作の繰り返しでパッチファイルを構成 • ADD n [文字列] : 各文字ごとに new
= old + [文字] • INSERT n [文字列] : 新ファイルのnバイト目に [文 字列] を加える • DELETE n m : 新ファイルのnバイト目以降 m 文 字を削除 旧: ABCDEF GHIJKLFUGA 新: XBCDEF GXXXKL ADD 1 [アスキーコード23];INSERT 8 XXX;DELETE 13 4;
bsdiff • バイナリ差分の特性: ソースコードの変更部分と無関係な部分も変化 – 1命令付け加わるとそのあとの命令で指すアドレスは変化 • 各操作の適用領域を工夫して容量を削減 – 操作の個数は減らせるとよい.
0の連続はbzip2 により圧縮される – (一致したバイト数)^2 - (全体のバイト数) を最大化 • 再実装 – https://github.com/hiromi-mi/deltaup-prototype 旧: HhogefugahogeE 新: XhogefugahogeX ADD 1 [‘X’-’H’, 0, …,0, ‘X’-’E’] → ほとんど0
Courgette • 高効率のバイナリ差分を生成するアルゴリズムとその実 装 – 実行ファイルや命令の構造に依存 • Windows, Linux 向けの
Google Chrome の更新に利用 • Chromium に密結合。一般のプログラムには使いにくい – 使いやすくしたい • Developer Channel 190.1 → 190.4 の更新の差分ファイ ルのバイト数 [2]:
Courgette によるパッチ生成 • 1. 旧バイナリと新バイナリを逆アセンブル – バイナリ中の命令の call, jmp, mov,
je などの命令のアドレス情報 を取り出す – 元々のアドレス情報はプレースホルダーで置換 • 2. 旧新バイナリ間でのアドレス情報の対応付けを構成 – 旧と新の間でアドレス参照先のパターンが似ているものを Shingle を用いて検出 • 3. 出力 – プレースホルダーで置き換えられた新旧をbsdiff して出力 – 対応関係を出力
まとめと今後について • 実行バイナリファイルの差分アルゴリズムを理解しつ つ再実装 • 今後の課題 – Courgette の再実装 –
Courgette のアルゴリズムを使いやすくしたい • 光成さんやサイボウズラボの方々に感謝します
References • [1] 総務省 2019年度 通信利用動向調査 – https://www.soumu.go.jp/menu_news/s-news/ 01tsushin02_02000148.html •
[2] Software Updates: Courgette – http://dev.chromium.org/developers/design- documents/software-updates-courgette