Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
実行ファイルにおけるバイナリ差分 アルゴリズム/cybozulabs-youth10-minoji
Search
Cybozu
PRO
March 31, 2021
Technology
0
400
実行ファイルにおけるバイナリ差分 アルゴリズム/cybozulabs-youth10-minoji
Cybozu
PRO
March 31, 2021
Tweet
Share
More Decks by Cybozu
See All by Cybozu
サイボウズQAの紹介
cybozuinsideout
PRO
1
27
試験仕様書の英語化をやってみたら試験仕様書の本質が見えてきた
cybozuinsideout
PRO
0
18
販売管理オペレーターが開発チームの一員となった話
cybozuinsideout
PRO
0
21
主体的な活動で巨大な影響範囲のテストを乗りこなしていく話
cybozuinsideout
PRO
1
25
Garoon 開発チーム / Garoon development team
cybozuinsideout
PRO
1
2.9k
OSSの脆弱性との向き合い⽅
cybozuinsideout
PRO
2
68
既存プロセスからの脱却と変化に適応するために必要なこと
cybozuinsideout
PRO
2
320
スプリント内で試験を完了させるには?アジャイル・スクラム開発に参加したQAエンジニアの悩みと対策
cybozuinsideout
PRO
1
280
サイボウズのQAエンジニア育成
cybozuinsideout
PRO
4
1.2k
Other Decks in Technology
See All in Technology
レガシーをぶっ壊せ。AEONで始めるDevRelの話 / Qiita Night 2024-2-22
aeonpeople
3
130
NLP2024 参加報告LT ~RAGの生成評価と懇親戦略~ / nlp2024_attendee_presentation_LT_masuda
taro_masuda
1
190
AIQ株式会社 エンジニア向け会社紹介資料
aiqlab
0
360
インシデントレスポンスのライフサイクルを廻すポイントってなに / Pinpoints of Incidentresponse Lifecycle for Operation
sakaitakeshi
0
290
TransitGatewayの基礎
toru_kubota
0
230
Aurora MySQL v3(MySQL8.0互換)の オンラインDDLの罠挙動を全バージョンで検証した
yutakikai
0
150
LLM とプロンプトエンジニアリング/チューターをビルドする / LLM and Prompt Engineering and Building Tutors
ks91
PRO
0
220
**強い**エンジニアのなり方 - フィードバックサイクルを勝ち取る / grow one day each day
soudai
60
17k
Oracle Exadata Database Service on Cloud@Customer (ExaDB-C@C) - UI スクリーン・キャプチャ集
oracle4engineer
PRO
1
1.1k
Tebiki株式会社 エンジニア採用資料
tebiki
0
4.1k
シン・Kafka / shin-kafka
oracle4engineer
PRO
6
2.7k
"好き"との生活/Regularly update profile with GitHub Actions
judeeeee
0
150
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
58
5k
GitHub's CSS Performance
jonrohan
1023
450k
Teambox: Starting and Learning
jrom
128
8.4k
Documentation Writing (for coders)
carmenintech
59
3.9k
What’s in a name? Adding method to the madness
productmarketing
PRO
15
2.6k
The Cult of Friendly URLs
andyhume
73
5.7k
Into the Great Unknown - MozCon
thekraken
10
980
Visualization
eitanlees
135
14k
How to name files
jennybc
64
92k
StorybookのUI Testing Handbookを読んだ
zakiyama
10
4.6k
Principles of Awesome APIs and How to Build Them.
keavy
119
16k
Imperfection Machines: The Place of Print at Facebook
scottboms
258
12k
Transcript
実行ファイルにおけるバイナリ差分 アルゴリズム サイボウズラボユース成果報告会 10期 美濃地 正貴 (hiromi_mi) 2021年3月30日
自己紹介 • 美濃地 正貴 (みのじ まさたか) – Twitter: @_hiromi_mi –
https://hiromi-mi.github.io/ • 2020年8月から活動 – メンター: 光成さん – 今後も継続予定です。現状報告をし ます
テーマ • 各種バイナリ差分アルゴリズムの調査や実装 – Levenshtein 距離 にもとづく動的計画法 – bsdiff –
Chromium Courgette • 現状: – Levenshtein距離とBsdiff アルゴリズムを再実装 – Courgette の実装解読および再実装をしている
動機 • ソフトウエア更新におけるデータ通信量削減 – 無尽蔵にデータが使えない環境がまだまだある – 日本でナローバンド回線は 企業13% 家庭7% [1]
– 4G などの従量課金通信 • 多くのパッケージマネージャはソフトウエア更 新時に更新版のバイナリファイルを全て転送し ている – 旧版と新版の差分を転送すると小さくならないか?
パッチファイルの基本構造 • 以下の操作の繰り返しでパッチファイルを構成 • ADD n [文字列] : 各文字ごとに new
= old + [文字] • INSERT n [文字列] : 新ファイルのnバイト目に [文 字列] を加える • DELETE n m : 新ファイルのnバイト目以降 m 文 字を削除 旧: ABCDEF GHIJKLFUGA 新: XBCDEF GXXXKL ADD 1 [アスキーコード23];INSERT 8 XXX;DELETE 13 4;
bsdiff • バイナリ差分の特性: ソースコードの変更部分と無関係な部分も変化 – 1命令付け加わるとそのあとの命令で指すアドレスは変化 • 各操作の適用領域を工夫して容量を削減 – 操作の個数は減らせるとよい.
0の連続はbzip2 により圧縮される – (一致したバイト数)^2 - (全体のバイト数) を最大化 • 再実装 – https://github.com/hiromi-mi/deltaup-prototype 旧: HhogefugahogeE 新: XhogefugahogeX ADD 1 [‘X’-’H’, 0, …,0, ‘X’-’E’] → ほとんど0
Courgette • 高効率のバイナリ差分を生成するアルゴリズムとその実 装 – 実行ファイルや命令の構造に依存 • Windows, Linux 向けの
Google Chrome の更新に利用 • Chromium に密結合。一般のプログラムには使いにくい – 使いやすくしたい • Developer Channel 190.1 → 190.4 の更新の差分ファイ ルのバイト数 [2]:
Courgette によるパッチ生成 • 1. 旧バイナリと新バイナリを逆アセンブル – バイナリ中の命令の call, jmp, mov,
je などの命令のアドレス情報 を取り出す – 元々のアドレス情報はプレースホルダーで置換 • 2. 旧新バイナリ間でのアドレス情報の対応付けを構成 – 旧と新の間でアドレス参照先のパターンが似ているものを Shingle を用いて検出 • 3. 出力 – プレースホルダーで置き換えられた新旧をbsdiff して出力 – 対応関係を出力
まとめと今後について • 実行バイナリファイルの差分アルゴリズムを理解しつ つ再実装 • 今後の課題 – Courgette の再実装 –
Courgette のアルゴリズムを使いやすくしたい • 光成さんやサイボウズラボの方々に感謝します
References • [1] 総務省 2019年度 通信利用動向調査 – https://www.soumu.go.jp/menu_news/s-news/ 01tsushin02_02000148.html •
[2] Software Updates: Courgette – http://dev.chromium.org/developers/design- documents/software-updates-courgette