How Google Tests Software

!NBUUBL ذأزַ׵鋅ִגֻ׷ ؚ٦ؚٕךاؿزؐؑ،Ꟛ涪 ׾׮הח'#ׅ׷⠓

⵸縧ֹ (PPHMF5FTU劤ָ꬗涯ַ׏׋կ ㉏겗ָ꬗涯ְ 䩛岀ָ꬗涯ְ 罋ִ倯ָ꬗涯ְ

䒷欽IUUQTNJLFCMBOEDPNJNBHFTUPUUUFTUDFSUJFEKQH ز؎ٖח 5FTU5*14ך䓸׶秵 UFTUJOHPOUIFUPJMFU

(PPHMFחכذأز׾ ꅾ銲鋔ׅ׷俑⻉ָ֮׷

׉ך5FTU5JQT׾⠗ִ׷涪邌דׅ 荈ⴓז׶ח鍑ꅸ׃ג铡僇ծַז׶铂䒦כ֮׷ַ׮ 鑫׃ֻכ劤顠׏ג铣׿ד

暴ח⽩韋ח婍׏׋א׾涪邌 ֿך濼鋅ד⡦ַךꟚ涪ךؼٝزחז׸ל

אךֿה ㅷ颵͒ذأز ذأزٖكٕ ؎ًؙٝٔٝةٕזꟚ涪 "$$ⴓ匿
ذأزךأ؛٦ؚٔٝ غؚ✮庠

ㅷ颵͒ذأز

ㅷ颵͒ذأز ㉏겗"ָ涪欰⾱㔓כזחַ ذأز Ꟛ涪 Ꟛ涪כ㉏겗ך⾱㔓ծذأزכ㉏겗ך✮꣇կ ㅷ颵ָ넝ְ͒ذأزָ㢳ְ

ㅷ颵׾㸚׷ Ꟛ涪 Ꟛ涪 Ꟛ涪 Ꟛ涪׾⸇ִ׷קוחغؚכ饯ֹגְֻ 䧭卓暟䧭卓暟䧭卓暟䧭卓暟

ㅷ颵׾㸚׷ Ꟛ涪 5FTU Ꟛ涪 Ꟛ涪ח״׷ㅷ颵⡚♴׾5FTUד㸚׷ 䧭卓暟䧭卓暟䧭卓暟ˏ 䧭卓暟

ㅷ颵׾㸚׷ Ꟛ涪 5FTU Ꟛ涪 Ꟛ涪הذأزך㺘穠さ $IBOHF-JTU $IBOHF-JTU $IBOHF-JTU ㅷ颵כꟚ涪הذأزך㺘䱸ז穠さד⥂׋׸׷

<膴简>$IBOHF-JTU $- הכ 3FWJFX׃ג׮׵ֲ㢌刿ך⽃⡘ UJDLFU涸ז $-ד荈⹛ؽٕسכ㔐׷ 3FWJFXFSכؽٕسָ姻׃ְַ׫׷
3FWJFXFSכذأزָ֮׷ַ׾䗳׆颵㉏ׅ׷

תה׭ ㅷ颵͒5&45׌ָծ⚕罏כⴖ׏ג׮ⴖ׸ז ְ Ꟛ涪הذأزך㺘穠さָㅷ颵⥂䭯ח䕵甧א

ذأزٖكٕ

ذأزٖكٕ ؟؎ؤ׀החذأزٖكٕ׾ⴽֽ׷ 4UFTU .UFTU -UFTU

4UFTU 暴䗙 6OJU5FTUָً؎ٝ 넝鸞 ֮׵ײ׷橆㞮ד㸜㹀㹋遤〳腉 ذأز眔㔲ָ杞ְծ㞮歲٥ؒٓ٦ذأزָ㺁僒

<膴简>6OJU5FTUהכ 6OJU $MBTT .FUIPE ׾㼎韋ה׃׋ذأز ⦐ղך鿇ㅷָ⥋걾דֹ׷ַ׾ذأزׅ׷ ؝٦س׾⚥䗰ה׃׋،فٗ٦ث
荈ⴓ⟃㢩כNPDLׅ׷

<膴简>6OJU5FTUהכ ⢽1FSTPOؙٓأךIFMMP׾ذأزׅ׷ DMBTT1FSTPO\ QSJWBUF4USJOHOBNF QVCMJD1FSTPO 4USJOHOBNF \ UIJTOBNFOBNF ^ QVCMJD4USJOHIFMMP
\ SFUVSOˑ)FMMP ˒ OBNF ^ ^

<膴简>6OJU5FTUהכ DMBTT1FSTPO5FTU\ !5FTU QVCMJDWPJEIFMMP \ 1FSTPOQFSTPOOFX1FSTPO ˑKPIO˒ BTTFSU5IBU QFSTPOIFMMP
JT ˑ)FMMP KPIO˒ ^ ^ ⢽1FSTPOؙٓأךIFMMP׾ذأزׅ׷

<膴简>.PDLהכ ⯋ך0CKFDUה殯ז׷䮶׷莸ְ׾ׅ׷0CKFDUךֿה .PDL垷鸡ㅷծ鋅ׇ䱦ֽծ⩝暟ך䠐㄂ ذأزד⣛㶷㼎韋ך0CKFDU׾縧ֹ䳔ִ׷䩛岀ךֿה

<膴简>.PDLהכ ⢽؟٦غ٦הך鸐⥋ " # 63- UFYUIUNM )PTU  5BSHFU$MBTT
.PDL$MBTT

<膴简>.PDLהכ ⢽؟٦غ٦הך鸐⥋ # " 钠鏾׾鸐ׅךח醱꧟ז鏣㹀ָ䗳銲 63-

<膴简>.PDLהכ ⢽؟٦غ٦הך鸐⥋ " #ˏ 63- .PDL0CKFDU#ˏח縧ֹ䳔ִծٖأهٝأ׾⩝鄲

.UFTU 暴䗙窟さذأز 㢩鿇ך؟ـءأذيך䮶׷莸ְ׾鎸鶢 ⚥鸞垥彊涸זꟚ涪橆㞮ד㹋遤〳腉
㢩鿇⣛㶷דꬊ寸㹀涸חז׶ֲ׷

-UFTU 暴䗙 &OE5P&OEذأز ،فٔⰋ⡤ָוֲ⹛⡲ׅ׷ַ׾鎸鶢ׅ׷ إحز،حفזוד儗꟦ַַָ׷ 넝宏彊ד㞮歲⦼ثؑحؙזוחכぢַזְ
㢩鿇⣛㶷דꬊ寸㹀涸חז׶ֲ׷

ذأزٖكٕ 4UFTU .UFTU -UFTU ⴓ ⴓ ⴓ 䓼ⵖ穄✪儗꟦ ⳿勻׷ꣲ׶넝鸞ח TFD
NTFD 儗꟦湡垥

ذأزٖكٕ ؟؎ؤ׀החذأزٖكٕ׾ⴽֽ׷ 4UFTU .UFTU -UFTU ءأذيח㼎ׅ׷荈⥋ ⴓꨄծ鸞䏝

ذأزٖكٕ ؟؎ؤ׀החذأزٖكٕ׾ⴽֽ׷ 4UFTU .UFTU -UFTU ؝٦سךㅷ颵׾넝׭׷ 醡ㅷךㅷ颵׾넝׭׷

ذأزٖكٕ ♧菙涸זفٗآؙؑزךذأز嫰桦 4UFTU .UFTU -UFTU

ذأزٖكٕ .UFTU-UFTUָ㢳ְ؛٦أ 4UFTU .UFTU -UFTU ٌآُ٦ٕ侧ָꬊ䌢ח㢳ְ 6*ָ醱꧟

ذأزٖكٕ 4UFTUָ㢳ְ؛٦أ 4UFTU .UFTU -UFTU ؎ٝؿٓ禸 ر٦ة乼⡲ָ⚥䗰
*OEFYJOH$SBXMJOH

ذأزٖكٕהٔا٦أ Ϧιʔε -UFTU .UFTU 4UFTU /FUXPSL 0 MPDBMIPTU NPDL %#
0 0 NPDL 'JMF4ZTUFN 0 0 NPDL 6*4ZTUFN 0 ඇਪ঑ NPDL 4ZTUFN$BMM 0 ඇਪ঑ Y .VMUJ5ISFBE 0 0 ඇਪ঑ 4MFFQ 0 0 Y ؀ڥม਺ 0 0 Y

ٖكٕ׻ֽךًٔحز 鎘皾项彁׾⸬卓涸חꂁⴓ׃װֻׅז׷ فٗآؙؑزך朐䡾ָ鋅װֻׅז׷ せ➰ֽח״׶ذأزך俑腞׾钠濼׃װֻׅז׷

תה׭ ذأزכٖكٕדⴓֽ׵׸׷ 4ذأزכծ؝٦سךㅷ颵חꟼ׻׷ .-ذأزכծ醡ㅷךㅷ颵חꟼ׻׷

؎ًؙٝٔٝةٕזꟚ涪

䧭卓暟ٖكٕךⴓ겲 ؕشٔ،ثٍٝطٕ Ꟛ涪ثٍطٕ ٔٔ٦أחכ黝ׁזְծ毟ְך֮׷ؽٕس ワ劍խ傈如ךؽٕس ⵃ欽罏ؒٝآص،ծ醡ㅷ䬐䔲وط٦آٍ Ꟛ涪罏ָ傈䌢ך➬✲ח⢪ֲկ♧鸬ךذأزさ呓կ ワ劍խꥫ鹈ֻ׵ְךؽٕس ⵃ欽罏ؒٝآص،

䧭卓暟ٖكٕךⴓ겲 ذأزثٍطٕ Ĕծٔٔ٦أثٍطٕ 䭯竲ذأزך䧭籐ָ殢ך剢꟦剑넝ؽٕس ワ劍խ剢 ⵃ欽罏爡ⰻךسحؙؿ٦سِ٦ؠ 爡ⰻⵃ欽ח罣ִծㅷ颵㛇彊׾麦䧭׃׋㸜㹀晛կ爡㢩ⰕꟚ ワ劍խת׍ת׍ ⵃ欽罏♧菙ِ٦ؠ

ًٔحز 稆傍ֻ㹋꿀ծ㸜㹀ٔٔ٦أ 媮ꥡ涸ד竰竲涸ז'# 䧭卓暟כծ䖚ղחثٍطٕ׾傻呓ׅ׷ךד㸜䗰կ Ꟛ涪׮㣐胐ח遤ִ׷կ 㼭ⵟ׫ח嗚鏾ׁ׸׷ךדؚٖٔحءָّٝ䖤װְׅ ⡦ָ㠨׸׋ךַծ⡦ד㠨׸׋ךַ

فٖ؟ـىحزثؑحؙ ٖؽُ،٦חNBJMָ굲ע⵸ח遤׻׸׷荈⹛ثؑحؙ ذأزثؑحؙ -JOUثؑحؙ ؖ؎سٓ؎ٝ鸐׶ַ $MFBOז橆㞮ד㹋遤ׁ׸׷ 㹋遤穠卓כٖؽُ،٦ח♧筰ח㾈ֻ

ًٔحز ثؑحؙ怩׸ָ幾׷ ؟ـىحز걼䏝ָ♳ָ׷ تًזהֹכٖؽُ،٦ך䩛׾ְ׍ְ׍撕׻ׇזְ 竰竲涸ז筮葿כծ〳铣䚍ָ넝ְꟚ涪罏ה⥋걾דֹ׷

תה׭ 䧭卓暟ךثٍطؚٔٝכ㣐胐ז㹋꿀׾㺁钠׃㸜㹀ׁ׾〳腉חׅ׷ فٖ؟ـىحزثؑحؙכفٗتؙذ؍ؽذ؍׾ ֮־׷

"$$ⴓ匿

"$$ⴓ匿הכ "UUSJCVUF 㾩䚍 $PNQPOFOU 鿇ㅷ $BQBCJMJUZ
堣腉 א׾㹀纏׃גٔأؙⴓ匿ׅ׷䩛岀 וֲٔأؙ׾겥㖈⻉׃גծ 箢ㄤׅ׷ַ׾罋ִ׷׋׭ח欽ְ׷

"UUSJCVUF 㾩䚍 1SPEVDUךؗ٦ٙ٦س׾♳־גְֻ ꅾ銲ז✲כזח ا٦ءٍٕ 邌植⸂ 知⽃黝ⴖ فٓ؎غء٦ 䞔㜠׾Ⱏ剣׃׋ְِ٦ؠח⸂׾♷ִ׷
( ׾鸐׃ג荈ⴓ荈魦׾邌植דֹ׷ 湫䠬涸חװ׶׋ְֿהָ׻ַ׷ ꟼ䗰ך֮׷ֿה׌ֽ⠗ִ׷ ِ٦ؠر٦ةכⰟ剣ׁ׸זְ 䭁䓸䚍 ➭ך،فٔה窟さדֹ׷

$PNQPOFOU 鿇ㅷ ءأذي׾⡲׶♳־׷ךח䗳銲ז鿇ㅷ せ鑁ח湱䔲 فٗؿ؍٦ٕ ؟٦ؙٕ ➂ أزٔ٦ي 鸐濼
䫎珲 ؝ًٝز ⱖ溪

$BQBCJMJUZ 堣腉 ءأذيָ㹋遤ׅ׷⹛⡲ ⹛鑁ח湱䔲 فٗؿ؍٦ٕ ا٦ءٍٕ 邌植⸂ 知⽃䭁䓸䚍 فٓ؎غء٦
濼➂הفٗؿ؍٦ٕ׾Ⱏ剣ׅ׷ طحزדך荈ⴓ׾⡲䧭דֹ׷ 䞔㜠Ⰵ⸂ծ刿倜ծ⠗麦ָ知⽃ ،ؙإأ埄֮׸ל䞔㜠׾獳隁דֹ׷ 鏩〳׃׋➂חך׫ⰕꟚדֹ׷

ٔأؙ㽯䏝 .JOJNBM ׀ֻ׻׆ַ 4PNF ֮׷玎䏝 $POTJEFSBCMF ַז׶ .BYJNBM 剑㣐ꣲ 媮ꥡך؎ٝػؙزך㽯䏝
ِ٦ؠָ孡בַזְ״ֲזؒٓ٦ ِ٦ؠ׾䝢תׇ׷ַ׮׃׸זְؒٓ٦ ⵃ欽ءشָٔؔ⢪ִזֻז׶ֲ׷ؒٓ٦ ِ٦ؠָ醡ㅷ׾⢪׻זֻז׷ؒٓ٦

ٔأؙ㽯䏝 媮ꥡך걼䏝ך㽯䏝 3BSFMZ ׀ֻת׸ 4FMEPN ת׸ 0DDBTJPOBMMZ 儗ղ 0GUFO 걼籕
勴⟝ָ䟝⫷דֹזְ״ֲזؒٓ٦ 䟝⫷דֹ׷ָ֮׿ת׶זְ׏גؒٓ٦ 䟝⫷דֹ״ֻ⢪׻׸׷堣腉ךؒٓ٦ ת׋ַ׏ג䠬ׄךؒٓ٦

ٔأؙⴓ匿 ا٦ءٍٕ 邌植⸂ 知⽃黝ⴖ فٓ؎غء٦ ؼ٦زوحفַ׵ٔأؙך넝ְ鿇ⴓ׾鋅אֽ׷ فٗؿ؍٦ٕ أزٔ٦ي 䫎珲
0GUFO 3BSFMZ .JOJNBM .BYJNBM $POTJEFSBCMF 3BSFMZ 4FMEPN 4PNF .JOJNBM .JOJNBM .JOJNBM 4FMEPN 3BSFMZ 3BSFMZ 0GUFO .JOJNBM $POTJEFSBCMF 3BSFMZ .JOJNBM 3BSFMZ .JOJNBM $POTJEFSBCMF 0GUFO 3BSFMZ .JOJNBM 4FMEPN .JOJNBM 3BSFMZ 3BSFMZ .JOJNBM

خ٦ٕ IUUQHPPHMFUFTUJOHCMPHTQPUKQHPPHMFUFTUBOBMZUJDTOPXJOPQFOIUNM 5FTU"OBMZUJDT

ٔأؙך箢ㄤ ٔأؙ׾幾׵ׇ׷ֿהכ׭׏׋חזְ 麊鯄כٔأؗ٦׌ָ遤ַזֻגכז׵זְ ٔأؙכ箢ㄤדֹ׷穗騟ָ֮׷ ְא遤ַֻ 䎂傈ծ㕼傈ծ劉ծ㢸˘
וֲװ׏ג遤ַֻ 鮦ծꨵ鮦ծغأծ굲遤堣

ٔأؙך箢ㄤ ٔأؙ׾箢ㄤׅ׷倯岀罋ִծꟚ涪ח《׶Ⰵ׸׷ ٔأؙךٖكָٕ넝ְ㹋鄲׾鼘ֽ׷ 涪欰ח孡בֹװְׅ➬穈׫׾Ⰵ׸׷ ꧊⚥涸ח⽃⡤ذأز׾剅ֻ 
ذأزفٓٝ׾罋ִ׷勞俱ה呎䬿חז׷կ

תה׭ فٗتؙزך䚍颵ַ׵ٔأؙ׾罋ִ׷ך ָ㣐✲ ٔأؙכ嶊ׇזְָ箢ㄤ⳿勻׷

ذأزךأ؛٦ؚٔٝ

ذأزךأ؛٦ؚٔٝ ⮚猕ז5FTUFSד׮侧⦐鹈ך涪鋅桦׃ַדֹזְ 㛇劤涸חأ؛٦ٕ׃זְ

ذأزךأ؛٦ؚٔٝ غؚ涪鋅侧׾㟓װׅ׋׭חכ ꧊⚥涸ח6OJU5FTU#VH1PPMך4J[F׾㼭ֻׁׅ׷ 劤殢דذأزׅ׷倯岀׾然甧ׅ׷ *OTUSVNFOUBUJPO#FUB5FTUJOH$MPVE4PVSDJOH

(PPHMF.BQך⢽ ⮚猕זذأة٦ד׮ꣲ歲ָ֮׷ 荈ⴓך⡝䨽ך姻׃ָׁ然钠⳿勻׷ךכ⡝׿ד׷➂׌ֽ ⡦♰鸐׶׮ך㹋ِ٦ؠךס׶׾׃גذأزכדֹזְ

(PPHMF.BQך⢽ 1SFWJFX 3FMFBTF 爡ⰻ ِ٦ؠ ♧菙ِ٦ؠ 爡ⰻ/FU :&4 /0 爡ⰻך侧♰➂דذأز
ِ٦ؠך䮶׶׾ׅ׷ذأة٦侧⼧➂侧♰➂ך㹋ِ٦ؠ

$ISPNFך⢽ ذأزخ،٦׾ؙٓؐسا٦ءؚٝ ءّحؾؚٝخ،٦ 㷕欰خ،٦ 䗡㢸خ،٦ 耵➂خ،٦ 䝤ְꦄ➂خ،٦ ؕأةو؎ؤخ،٦ ءّحؾؚٝ؟؎زח،ؙإأ飑Ⰵׅ׷ ر٦ةך箟꧊٥⸇䊨٥獳⹛׾׃ג׫׷
㣐ꆀةـ׾Ꟛֻ٥ꞿ儗꟦⹛歗׫׷זו %FWFMPQFS5PPMծةأؙوط٦آٍךⵃ欽 &YUFOTJPOⵃ欽ծذ٦و㢌刿זו ٔحث؝ٝذٝخⵃ欽 ⹛歗ծXFCHMծ

ذأزخ،٦הכ ِ٦ؠך䮶׷莸ְ倯׾خ،٦ח鋅甧ג׋嗚鏾倯岀 ٓٝسو٦ؙخ،٦ 煁瀖׾䭯׏ג如ך湡⽩ٓٝسو٦ؙ׾䩛粸׏ג ְֻػة٦ٝ ـٓؐؠؐ؍ٝسؐ 鏣㹀
%FWFMQPFS5PPM  $ISPNFךٓٝسو٦ؙ⢽

תה׭ ذأزכأ؛٦ٕ׃חְֻ 劤殢דךذأزכ剣欽

غؚ✮庠

غؚ✮庠㷕统遤侧 ⣛㶷侧 䗃橆⿫撑 堣唒㷕统窟鎘ⴓ匿ח״׷ⴓ겲׾ׅ׷ 'JMF غؚOPUغؚ #VH5SBDLFS 暴䗙䬄⳿
Ⰵ⸂ ⳿⸂

غؚ✮庠 ⴓ겲 遤侧 ⣛㶷侧 䗃橆⿫撑 妀挿ꨇ׃ְָ搀㹱ז؝٦س׮嗚⳿׃ָ׍ 'JMF 4DPSF 暴䗙䬄⳿ Ⰵ⸂
✮庠

ءٝفٕז غؚ✮庠 $PNNJU侧 ⡦䏝׮⥜姻׃גְ׷ؿ؋؎ٕכ )PU4QPUחז׷〳腉䚍ָ넝ְ 'JMF 4DPSF 暴䗙䬄⳿ Ⰵ⸂ ✮庠

ٓ٦وٝ،ٕ؞ٔؤي 4DPSF< > O UJJ殢湡ךغؚ⥜姻DPNNJUך儗꟦< > غָؚ饯ֹװְׅؿ؋؎ٕךأ؝،皾⳿䒭䒷欽IUUQXXXQVCMJDLFZKQCMPHQPTU@IUNM Oغؚ׾⥜姻׃׋㔐侧

ٓ٦وٝ،ٕ؞ٔؤي 〢ְ$PNNJUכأ؝،ָ♴ָ׷ 4DPSF UJNF 䒷欽IUUQXXXQVCMJDLFZKQCMPHQPTU@IUNM

غؚ✮庠ך⢪׻׸倯 $PEF3FWJFX5PPMךؿ؋؎ٕ♧鋮חأ؝،ָד׷ 'JMF/BNF #VH4DPSF $PNNJUT %J⒎ pMF
pMF pMF pMF ˟⹧䩛ז؎ً٦آ

תה׭ 箟꧊걼䏝דغؚ䱿庠דֹ׷ 暴חYָ㢳ְؿ؋؎ٕכغؚ֮׷ַ׮

⟃♳ד׃׋կ זחַ⿫罋חז׸ל 劤׾顠ֲהְְה䙼ְתׅ

How Google Tests Software

How Google Tests Software

More Decks by mattak

Other Decks in Programming

Featured

Transcript