Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
mallocしただけでメモリが確保できるって本当ですか?
MakKi
February 21, 2019
Technology
4
520
mallocしただけでメモリが確保できるって本当ですか?
updated at 2019/Jun/29
MakKi
February 21, 2019
Tweet
Share
More Decks by MakKi
See All by MakKi
君は古の言語M4を知っているか (LT)
makki_d
0
81
型パラメータが使えるようになったのでLINQを実装してみた
makki_d
2
750
mallocしただけでメモリが確保できるって本当ですか?
makki_d
0
67
ホットリロードツールの作り方
makki_d
0
520
JavaプログラムをGoに移植するためのテクニック――継承と例外
makki_d
1
1.2k
JavaプログラムをGoに移植するためのテクニック――継承と例外
makki_d
4
3.1k
パッケージ外から非公開フィールドを変更する方法.pdf
makki_d
0
210
とあるライブラリをGoに移植した結果……
makki_d
1
3.8k
バーコードリーダーになろう!
makki_d
0
81
Other Decks in Technology
See All in Technology
Startup Studio Sereal / Culture Deck
sereal
0
630
Pentesting Password Reset Functionality
anugrahsr
0
220
【Oracle Cloud ウェビナー】事例から見る規模別クラウド・データベースの選び方 (Oracle Database) (2023年1月18日)
oracle4engineer
PRO
0
100
立ち止まっても、寄り道しても / even if I stop, even if I take a detour
katoaz
0
160
オンプレk8sとEKSの並行運用の実際
ch1aki
0
160
日経電子版だけじゃない! 日経の新規Webメディアの開発 - NIKKEI Tech Talk #3
sztm
0
140
ステート管理を超えるRecoil運用の考え方
uhyo
7
5.5k
Airdrop for Open Source Projects
epicsdao
0
350
400種類のWeb APIをサポートしているデータパイプラインツールにおけるWeb APIとの共存戦略
cdataj
0
150
20230121_データ分析系コミュニティ_サテライト企画
doradora09
0
510
Hasuraの本番運用に向けて
nori3tsu
0
280
Oktaの管理者権限を適切に移譲してみた
shimosyan
2
250
Featured
See All Featured
A designer walks into a library…
pauljervisheath
198
16k
Creatively Recalculating Your Daily Design Routine
revolveconf
207
11k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
239
19k
Build The Right Thing And Hit Your Dates
maggiecrowley
22
1.4k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
44
14k
Streamline your AJAX requests with AmplifyJS and jQuery
dougneiner
128
8.8k
Gamification - CAS2011
davidbonilla
75
4.1k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
351
21k
VelocityConf: Rendering Performance Case Studies
addyosmani
317
22k
Designing the Hi-DPI Web
ddemaree
273
32k
For a Future-Friendly Web
brad_frost
166
7.7k
Three Pipe Problems
jasonvnalue
89
8.9k
Transcript
mallocしただけで メモリが確保できるって 本当ですか? KLab株式会社 牧内大輔
自己紹介 • 牧内大輔 ◦ Twitter: @makki_d ◦ Github: makiuchi-d •
KLab株式会社 ◦ エンジニアリングマネージャー ◦ スマホ向けオンラインゲームの会社 • 特徴 ◦ Linux使い(Kubuntu + Compiz) ◦ 仕事:オンライン対戦のネットワーク基盤とか ◦ 趣味:バーコード/QRコードライブラリをGoに移植
今日はmallocの話をします
C言語触ったことある人
mallocが何か知っている人
mallocについて • C標準ライブラリの関数 • メモリの動的割り当て #include <stdlib.h> void *malloc(size_t size);
mallocの使い方 • こんなコードを見たことがあると思います void *p = malloc(1000); if(p == NULL){
// メモリ確保失敗の処理 ... }
このプログラムを 見てください
#define TARGET_GB 20 #define PAGE_SIZE 4096 #define ONE_GB (1 *
1024 * 1024 * 1024) int main() { char *ptrs[TARGET_GB] = {NULL}; int total_gb = 0; int i; printf("start. pid=%d", getpid()); getchar(); for(i=0; i<TARGET_GB; ++i){ ptrs[i] = (char *) malloc(ONE_GB); if(ptrs[i] == NULL){ printf("malloc returns NULL\n"); break; } total_gb++; printf("malloc: p[%d] = %p", i, ptrs[i]); getchar(); } printf("total %d GB allocated", total_gb); getchar(); for(i=0; i<total_gb; ++i){ int t; for(t=0; t<ONE_GB; t += PAGE_SIZE){ ptrs[i][t] = 0; } printf("touch %d GB", i+1); getchar(); } for(i=0; i<total_gb; ++i){ free(ptrs[i]); } return 0; }
#define TARGET_GB 20 #define PAGE_SIZE 4096 #define ONE_GB (1 *
1024 * 1024 * 1024) int main() { char *ptrs[TARGET_GB] = {NULL}; int total_gb = 0; int i; printf("start. pid=%d", getpid()); getchar(); for(i=0; i<TARGET_GB; ++i){ ptrs[i] = (char *) malloc(ONE_GB); if(ptrs[i] == NULL){ printf("malloc returns NULL\n"); break; } total_gb++; printf("malloc: p[%d] = %p", i, ptrs[i]); getchar(); } printf("total %d GB allocated", total_gb); getchar(); for(i=0; i<total_gb; ++i){ int t; for(t=0; t<ONE_GB; t += PAGE_SIZE){ ptrs[i][t] = 0; } printf("touch %d GB", i+1); getchar(); } for(i=0; i<total_gb; ++i){ free(ptrs[i]); } return 0; } 1GBずつ20回malloc 失敗したらbreak 確保できたらアドレスを表示 確保した合計を表示 確保した領域に書き込み 書き込んだ領域のサイズ表示 メモリ解放
問題:何GB確保できるでしょうか • このPCについて ◦ Kubuntu 18.04 64bit (Linux version 4.15.0-54-generic)
◦ 物理メモリ 16GB ▪ ただし、VRAM領域もあるので実質約15.5GB ◦ スワップ領域 2GB 1. 15 GB 2. 17 GB 3. 20 GB
動かしてみます
結果 • 20GBまでmalloc成功 • この段階ではメモリ使用率は増えていない • 確保したメモリに書き込んではじめてメモリ使用率増加 • 16GBに到達する前にOOM-Killerによって強制終了
なぜこうなったのか
仮想アドレス空間 • プロセスから見えるメモリアドレス空間 ◦ ひと塊の大きなメモリに見える ◦ 物理メモリの大きさとは無関係 • プロセス毎に独立 ◦
他プロセスのメモリにアクセスできない • 物理メモリとのマッピングはOSが管理 ◦ CPUの機能(MMU)を利用 物理メモリ 仮想アドレス
mallocしたとき • 仮想アドレス空間を予約 ◦ このアドレスが戻り値 • 物理メモリへのマッピングはまだしない ◦ メモリ使用量は増えない 物理メモリ
仮想アドレス ?
書き込みしたとき • このとき初めて物理メモリにマッピング ◦ メモリ使用量増加 最終的に物理メモリが足りなくなり メモリを開放するために プロセスが殺されました(OOM-Killer) 物理メモリ 仮想アドレス
まとめ • mallocしただけでは物理メモリは確保されない • 戻り値チェックだけではメモリ不足を防げない • 大量にメモリを使うプログラムを書くときは気をつけましょう • 裏には複雑な仕組みが隠れていてコンピュータっておもしろい!
参考文献とか • [試して理解] Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識 ◦ 竹内 覚、2018、技術評論社 ◦ ISBN:
978-4774196077 ※今回のmallocの挙動は、glibcのmallocにおいて heapではなくpageからメモリ確保する場合のものです。 ※mallocはもっと複雑なことをやっているので、 興味のある人は小崎先生の動画を見ましょう。 https://www.youtube.com/watch?v=0-vWT-t0UHg
None