Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Mmap with its applications in git and libgit2
Search
Minqi Pan
January 08, 2016
Programming
1
160
Mmap with its applications in git and libgit2
Minqi Pan
January 08, 2016
Tweet
Share
More Decks by Minqi Pan
See All by Minqi Pan
RubyConf 2017: Packing your Ruby application into a single executable
pmq20
1
660
Node 8 and Friends
pmq20
0
230
Moving Node.js and nodec to v8 Ignition
pmq20
0
350
QCon 2017 Beijing Observations
pmq20
0
260
Node.js Compiler: compiling your Node.js application into a single executable
pmq20
5
25k
Enclose.IO: current cutting-edges and the future work
pmq20
0
230
环境变量为何能让 Ruby 快十倍
pmq20
3
750
Introductions to Node.js internals
pmq20
0
2.1k
How we scaled GitLab for a 30k-employee company
pmq20
6
1.6k
Other Decks in Programming
See All in Programming
明示と暗黙 ー PHPとGoの インターフェイスの違いを知る
shimabox
2
510
「Cursor/Devin全社導入の理想と現実」のその後
saitoryc
0
820
Hack Claude Code with Claude Code
choplin
4
2k
ペアプロ × 生成AI 現場での実践と課題について / generative-ai-in-pair-programming
codmoninc
1
18k
Rubyでやりたい駆動開発 / Ruby driven development
chobishiba
1
700
効率的な開発手段として VRTを活用する
ishkawa
0
140
Webの外へ飛び出せ NativePHPが切り拓くPHPの未来
takuyakatsusa
2
550
スタートアップの急成長を支えるプラットフォームエンジニアリングと組織戦略
sutochin26
1
5.6k
Python型ヒント完全ガイド 初心者でも分かる、現代的で実践的な使い方
mickey_kubo
1
110
Quand Symfony, ApiPlatform, OpenAI et LangChain s'allient pour exploiter vos PDF : de la théorie à la production…
ahmedbhs123
0
190
ソフトウェア品質を数字で捉える技術。事業成長を支えるシステム品質の マネジメント
takuya542
1
13k
“いい感じ“な定量評価を求めて - Four Keysとアウトカムの間の探求 -
nealle
1
10k
Featured
See All Featured
Large-scale JavaScript Application Architecture
addyosmani
512
110k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
How to Think Like a Performance Engineer
csswizardry
25
1.7k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
For a Future-Friendly Web
brad_frost
179
9.8k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Faster Mobile Websites
deanohume
307
31k
Designing for humans not robots
tammielis
253
25k
Transcript
mmap 在 git 与 libgit2 中的应⽤用 Minqi Pan
I’m Minqi Pan github.com/pmq20 twitter @psvr
mmap • ⼆二类⼿手册,系统调⽤用 • IEEE POSIX 标准 API 之⼀一 •
Linux / Mac OS X / BSD 均⽀支持
⾏行行为 • 将⽂文件或设备映射⾄至内存,起初完全不读取⽂文件、 完全不占⽤用内存,懒读取 • 进程发起对这片映射空间的访问,引发缺⻚页异常, 实现⽂文件内容到物理理内存(主存)的拷⻉贝 • 系统会周期性地⾃自动回写脏⻚页⾯面到对应的⽂文件磁 盘上,有⼀一段时间的延Ӿ
与常规⽂文件的区别 • 常规⽂文件:磁盘 -> ⻚页缓存 -> ⽤用户主存 • ⻚页缓存在内核空间中,空间不同数据不通 •
mmap:磁盘 -> ⽤用户主存
⽤用法 #include <sys/mman.h> void * // 返回被映射区域的指针 mmap(void *addr, //
被映射的⻚页从 addr 开始 size_t len, // 被映射的⻚页的最⼤大⻓长度 int prot, // ⻚页的读写跑权限保护 int flags, // 选项 int fd, // 映射源 off_t offset); // 映射源的起点偏移量量
None
构造 vm_area_struct
应⽤用 • 按需分⻚页——仅当缺⻚页(访问虚拟地址但其物理理内存未 加载)时 OS 才进⾏行行磁盘到内存的拷⻉贝 • ⻚页缓存——缓存诸如动态库等磁盘数据,通过虚拟内存 映射共享到使⽤用者的进程空间内 •
⾼高效IPC——不同进程将⾃自⾝身⽤用户空间映射到同⼀一个⽂文件 (管道和MQ需要在内核和⽤用户空间进⾏行行四次数据复制) • ⼤大数据处理理——内存空间不⾜足时使⽤用
在 git 应⽤用场景下 • pack 与 delta window 的概念念 •
delta window 与系统分⻚页⼤大⼩小的关系,避免缺⻚页 • 这就是为什什么 pack 内的对象顺序⾄至关重要
mmap 在 git 中应⽤用⼗十分⼴广泛
在 git 中的应⽤用 use_pack pack 的处理理属于⼤大数据处理理,内存空间不⾜足
在 git 中的应⽤用 map_sha1_file
在 git 中的应⽤用 git_config_set_multivar_in_file 如果进程A和进程B都映射了了区域C,当A第⼀一次读取C时通 过缺⻚页从磁盘复制⽂文件⻚页到内存中;但当B再读C的相同⻚页 ⾯面时,虽然也会产⽣生缺⻚页异常,但是不再需要从磁盘中复 制⽂文件过来,⽽而可直接使⽤用已经保存在内存中的⽂文件数据。
在 git 中的应⽤用 diff_populate_filespec While doing rename detection and pickaxe
operation, we may need to grab the data for the blob (or file) for our own in-core comparison.
在 git 中的应⽤用 do_read_index
在 git 中的应⽤用 check_packed_git_idx Open and mmap the index file
at path, perform a couple of consistency checks
在 git 中的应⽤用 do_read_index
在 git 中的应⽤用 ⽤用于⼩小⼯工具读⽂文件
在 git 中的应⽤用 ⽤用于 pack-bitmap
在 git 中的应⽤用 ewah bitmap compression
mmap 在 libgit2 中应⽤用⼗十分有限 仅⽤用于 pack 和 index
在 libgit2 中的应⽤用 new_window
在 libgit2 中的应⽤用 (indexer) parse_header
在 libgit2 中的应⽤用 (indexer) write_at
在 libgit2 中的应⽤用 pack_index_check When doing Packed Object lookup query,
Mmap the index file and do a quick run through the header to guess the index version, and to verify that the size of the index makes sense.
在 libgit2 中的应⽤用 pack_index_check
Thank you https://github.com/pmq20/