Apache Iceberg Case Study in LY Corporation

-:$PSQPSBUJPO "QBDIF*DFCFSH $BTF4UVEZ *O-:$PSQPSBUJPO -:$PSQPSBUJPO 5BTVLV0,6%"

-:$PSQPSBUJPO 5BTVLV0,6%" 4FOJPS.BOBHFS 1SPEVDU4USBUFHZEFQU %BUB1JQFMJOF&OHJOFFSJOHEJWJTJPO -:$PSQPSBUJPO *OUSPEVDUJPO +PJO-*/&$PSQ
BTOFXHSBE %#"GPS-*/&(".& )BEPPQ&5-KPCEFWFMPQNFOU %BUB1MBUGPSN&OHJOFFS )BEPPQ.JHSBJPO1SPK-FBE *6%BUB$POOFDUUFBN&.1E. /FX DPNQBOZ -:$PSQPSBUJPO /PX 4FOJPS. %BUB&OHJOFFSJOH(SPVQ

-:$PSQPSBUJPO *OUSPEVDUJPO-:$PSQPSBUJPO -:$PSQPSBUJPO%BUB1MBUGPSN "QBDIF*DFCFSH6TF$BTF "QBDIF*DFCFSH$IBMMFOHFT
4VNNBSZ "HFOEB

-:$PSQPSBUJPO -:$PSQPSBUJPO

-:$PSQPSBUJPO .JTTJPO $SFBUFBOBNB[JOHMJGFQMBUGPSN UIBUCSJOHT808UPPVSVTFST 'SPNXIFOZPVXBLFVQVOUJMZPVGBMMBTMFFQ BTUIF GPVOEBUJPOGPSZPVSEBJMZMJGF XFBJNUPTVSQSJTF
JOTQJSFBOENBLFZPVSMJGFCFUUFS 8FIBWFTUFBEJMZFYQBOEFEPVSQSFTFODFJOUIFCVTJOFTTMBOETDBQFBOE UIFOVNCFSPGTFSWJDFTXFPGGFSPVSVTFST XIJDIJOUVSOIBTDBVTFEPVS JNQBDUPOPVSVTFST`MJWFTUPHSPX .PWJOHGPSXBSE XFXJMMLFFQDIBMMFOHJOHPVSTFMWFTUPVTFPVS UFDIOPMPHZBOETFSWJDFTUPDSFBUFOFXBOEVOFYQFDUFEWBMVFJOPVS VTFST`EBJMZMJWFT IUUQTXXXMZDPSQDPKQKBDPNQBOZNJTTJPO

-:$PSQPSBUJPO /VNFSJDBM0WFSWJFXPG-:$PSQPSBUJPO /PPG6TFST #VTJOFTT3FTVMUT 4FSWJDFT1SPWJEFEJO /PPG&NQMPZFFT
/PPG(SPVQ$PNQBOJFT 5IFTVNPG:BIPP+"1"/NPOUIMZMPHHFEJOVTFS*%T -*/&NPOUIMZBDUJWFVTFST ."6 1BZ1BZ SFHJTUFSFEVTFST BOE BOOVBMCVZFSTPG;0;0508/CVTJOFTT FYDMVEJOH:BIPP+"1"/4IPQQJOH "MMGJHVSFTBSFBTPG.BSDI ': $VNVMBUJWFOPPGVTFSTPGUIF (SPVQ 0WFS NJMMJPO :BIPP+"1"/ NJMMJPO .POUIMZMPHHFEJOVTFST -*/& NJMMJPO .POUIMZBDUJWFVTFST 3FWFOVF +1: USJMMJPO "EKVTUFE&#*5%" +1: CJMMJPO $POTPMJEBUFE 0WFS 4UBOEBMPOF 0WFS "TPG"VHVTU "TPG.BSDI "TPG.BSDI BQQSPY DPVOUSJFTBOESFHJPOT

-:$PSQPSBUJPO "EJWFSTFQPSUGPMJPDPWFSJOHNFEJBUPUFMFDPNNVOJDBUJPOT .FEJB $PNNFSDF 4USBUFHJD .FTTFOHFS 4PDJBM.FEJB 5FMFDPNNVOJDBUJPO "*
#VTJOFTT1PSUGPMJP

-:$PSQPSBUJPO -:$PSQPSBUJPO %BUB1MBUGPSN 5PVUJMJ[FEBUBESJWFOCVTJOFTT

-:$PSQPSBUJPO

-:$PSQPSBUJPO ,FZ.FUSJDT , USJMMJPO &# )%'4DBQBDJUZ )JWFUBCMFT *ODPNJOHSFDPSETEBZ 5PUBMBDSPTTNVMUJQMFDMVTUFSTTZTUFNT

-:$PSQPSBUJPO "QBDIF*DFCFSH 6TF$BTF

-:$PSQPSBUJPO • .PUJWBUJPO • &WFSDIBOHJOHEBUBSFBMUFEMBXT • .BOZQSPEVDUTTFSWJDFT .BOZQSJWBDZQPMJDJFT • "DDJEFOUSFDPWFSZ
• 8IBUXFXBOUUPBDIJFWF • 5PEFMFUFGFXSPXTDPMVNOTXJUISFBTPOBCMFPQFSBUJPOBMDPTU • "QQSPBDI3FMBUFEGFBUVSF • .FSHF0O3FBEX1PTJUJPOEFMFUF • 1BSBMMFMSFBECZ"$*% • *OQMBDFUBCMFFWPMVUJPO 6TF$BTF1BSUJBM%BUB%FMFUJPO

-:$PSQPSBUJPO "MMEBUBGJMFTTIPVMECFSFXSJUUFO 6TF$BTF1BSUJBM%BUB%FMFUJPO " # $ %
%&-&5&'30.ECUCM 8)&3&SPX@JE %BUB GJMF %BUB GJMF %BUB GJMF %BUB GJMF "-5&35"#-&ECUCM %301$0-6./$

-:$PSQPSBUJPO 5BCMFEBUB 6TF$BTF1BSUJBM%BUB%FMFUJPO " # $ %
%&-&5&'30.ECUCM 8)&3&SPX@JE %BUB GJMF %BUB GJMF %BUB GJMF %BUB GJMF .FUBEBUB GJMF %JGGFSFODF GJMF "-5&35"#-&ECUCM %301$0-6./$

-:$PSQPSBUJPO • .PUJWBUJPO • IPVSEFMBZVOUJMTUSFBNJOHEBUBJTBWBJMBCMF • 4DBMBCJMJUZJTTVFGPSGVMMUFYUTFBSDIFOHJOF • 8IBUXFXBOUUPBDIJFWF
• 5PNBLFPVSTUSFBNJOHEBUBBWBJMBCMFJOGFXNJOVUFT • "QQSPBDI3FMBUFEGFBUVSF • 4BGFUZ$PNQBDUJPOUIBOLTUP"$*% • 4NBMMGJMFCZFWFSZNJOVUF $PNQBDUJPO 6TF$BTF3FEVDFEBUBMBUFODZ

-:$PSQPSBUJPO 6TF$BTF3FEVDFEBUBMBUFODZ ,BGLB 'MJOL )%'4 */4&35 07&383*5& 2VFSZ&OHJOF 4FRVFODF'JMF
1SPUPCVG 03$ $IFDLBMMEBUB JTGMVTIFE

-:$PSQPSBUJPO )%'4 *DFCFSH 03$ 6TF$BTF3FEVDFEBUBMBUFODZ ,BGLB 'MJOL 2VFSZ&OHJOF 5BCMF
0QUJNJ[FS BZOD

-:$PSQPSBUJPO • .PUJWBUJPO • 3BQJEVQEBUFCVTJOFTTSFRVJSFNFOU • *OJUJBMDPTUUPEFGJOFBUBCMFTDIFNB • 8IBUXFXBOUUPBDIJFWF •
5PVQEBUFUBCMFTDIFNBFBTJMZXJUIPMEEBUBTFUDPNQBUJCJMJUZ • "QQSPBDI3FMBUFEGFBUVSF • 4DIFNBFWPMVUJPO 6TF$BTF4DIFNB'MFYJCJMJUZ

-:$PSQPSBUJPO • .PUJWBUJPO • 5FOUIPVTBOETQBSUJUJPOTJOBTJOHMFUBCMF • )JHIMPBECZCBERVFSJFTXJUIXSPOHQBSUJUJPODPOEJUJPO • 8IBUXFXBOUUPBDIJFWF •
5PSFEVDFIJWFNFUBTUPSFMPBE • "QQSPBDI3FMBUFEGFBUVSF • .FUBGJMFTJO)%'4 6TF$BTF.FUBTUPSFTDBMBCJMJUZ

-:$PSQPSBUJPO "QBDIF*DFCFSH $IBMMFOHFT

-:$PSQPSBUJPO • .PUJWBUJPO • *OUSPEVDF"QBDIF*DFCFSHCFOFGJUJOUPFYJTUJOHEBUBQMBUGPSN • .JOJNJ[FTJEFFGGFDUUPEBUBSFMBUFEXPSL • 1BJO1PJOUT •
" MPUPG)JWFUBCMFT • "MPUPGDPNQPOFOU • "MPUPGTUBLFIPMEFST • "MPUPGBDDFTTQBUUFSO • 1MBO • *OQMBDFNJHSBUJPO • 1MBUGPSNMFWFM"QBDIF*DFCFSHTUBOEBSEJ[BUJPO • %JTU$Q BMUFSOBUJWF $IBMMFOHF.JHSBUJPO

-:$PSQPSBUJPO • .PUJWBUJPO • ,FFQ)BEPPQDMVTUFSIFBMUIZ • .BLFQMBUGPSNFBTZUPVTFGPSFWFSZPOF • 1BJO1PJOUT •
-FBSOJOHDVSWFGPS"QBDIF*DFCFSHNBJOUFOBODFQSPDFTT • 8IBUUBCMFSFRVJSFTBEEJUJPOBMNBJOUFOBODFPQFSBUPO • )PXUPSFEVDFUIFOVNCFSPGGJMFT • )PXUPQSVOFPVUEBUFEGJMFT • 1MBO • *DFCFSH5BCMF0QUJNJ[FS $IBMMFOHF5BCMF.BJOUFOBODF

-:$PSQPSBUJPO

-:$PSQPSBUJPO 4VNNBSZ

-:$PSQPSBUJPO • -:$PSQPSBUJPOOPXUSJFTUPJOUSPEVDF"QBDIF*DFCFSHJOUP FYJTUJOH&#TDBMFQMBUGPSN • "QBDIF*DFCFSHXJMMCSJOHVTBMPUPGCFOFGJUTMJLF • #VTJOFTTGMFYJCJMJUZ • 4ZTUFNTUBCJMJUZ
• 4USBUFHJDTDBMBCJMJUZ • -:$PSQPSBUJPOLFFQDIBMMFOHJOHUPNPEFSOJ[FPVSEBUB QMBUGPSNDPOUJOVPVTMZ XIJDI"QBDIF*DFCFSHIFMQT 8IZBOE8IBU 4VNNBSZ

-:$PSQPSBUJPO 5IBOL:PV

-:$PSQPSBUJPO &0%

Apache Iceberg Case Study in LY Corporation

Apache Iceberg Case Study in LY Corporation

LINEヤフーTech (LY Corporation Tech) PRO

More Decks by LINEヤフーTech (LY Corporation Tech)

Other Decks in Technology

Featured

Transcript

-:$PSQPSBUJPO "QBDIFDFCFSH $BTF4UVEZ O-:$PSQPSBUJPO -:$PSQPSBUJPO 5BTVLV0,6%"

-:$PSQPSBUJPO 5BTVLV0,6%" 4FOJPS.BOBHFS 1SPEVDU4USBUFHZEFQU %BUB1JQFMJOF&OHJOFFSJOHEJWJTJPO -:$PSQPSBUJPO OUSPEVDUJPO +PJO-/&$PSQ

-:$PSQPSBUJPO OUSPEVDUJPO-:$PSQPSBUJPO -:$PSQPSBUJPO%BUB1MBUGPSN "QBDIFDFCFSH6TF$BTF "QBDIF*DFCFSH$IBMMFOHFT

-:$PSQPSBUJPO -:$PSQPSBUJPO

-:$PSQPSBUJPO .JTTJPO $SFBUFBOBNB[JOHMJGFQMBUGPSN UIBUCSJOHT808UPPVSVTFST 'SPNXIFOZPVXBLFVQVOUJMZPVGBMMBTMFFQ BTUIF GPVOEBUJPOGPSZPVSEBJMZMJGF XFBJNUPTVSQSJTF

-:$PSQPSBUJPO /VNFSJDBM0WFSWJFXPG-:$PSQPSBUJPO /PPG6TFST #VTJOFTT3FTVMUT 4FSWJDFT1SPWJEFEJO /PPG&NQMPZFFT

-:$PSQPSBUJPO "EJWFSTFQPSUGPMJPDPWFSJOHNFEJBUPUFMFDPNNVOJDBUJPOT .FEJB $PNNFSDF 4USBUFHJD .FTTFOHFS 4PDJBM.FEJB 5FMFDPNNVOJDBUJPO "*

-:$PSQPSBUJPO -:$PSQPSBUJPO %BUB1MBUGPSN 5PVUJMJ[FEBUBESJWFOCVTJOFTT

-:$PSQPSBUJPO

-:$PSQPSBUJPO ,FZ.FUSJDT , USJMMJPO &# )%'4DBQBDJUZ )JWFUBCMFT *ODPNJOHSFDPSETEBZ 5PUBMBDSPTTNVMUJQMFDMVTUFSTTZTUFNT

-:$PSQPSBUJPO "QBDIF*DFCFSH 6TF$BTF

-:$PSQPSBUJPO • .PUJWBUJPO • &WFSDIBOHJOHEBUBSFBMUFEMBXT • .BOZQSPEVDUTTFSWJDFT .BOZQSJWBDZQPMJDJFT • "DDJEFOUSFDPWFSZ

-:$PSQPSBUJPO "MMEBUBGJMFTTIPVMECFSFXSJUUFO 6TF$BTF1BSUJBM%BUB%FMFUJPO " # $ %

-:$PSQPSBUJPO 5BCMFEBUB 6TF$BTF1BSUJBM%BUB%FMFUJPO " # $ %

-:$PSQPSBUJPO • .PUJWBUJPO • IPVSEFMBZVOUJMTUSFBNJOHEBUBJTBWBJMBCMF • 4DBMBCJMJUZJTTVFGPSGVMMUFYUTFBSDIFOHJOF • 8IBUXFXBOUUPBDIJFWF

-:$PSQPSBUJPO 6TF$BTF3FEVDFEBUBMBUFODZ ,BGLB 'MJOL )%'4 /4&35 07&3835& 2VFSZ&OHJOF 4FRVFODF'JMF

-:$PSQPSBUJPO )%'4 *DFCFSH 03$ 6TF$BTF3FEVDFEBUBMBUFODZ ,BGLB 'MJOL 2VFSZ&OHJOF 5BCMF

-:$PSQPSBUJPO • .PUJWBUJPO • 3BQJEVQEBUFCVTJOFTTSFRVJSFNFOU • *OJUJBMDPTUUPEFGJOFBUBCMFTDIFNB • 8IBUXFXBOUUPBDIJFWF •

-:$PSQPSBUJPO • .PUJWBUJPO • 5FOUIPVTBOETQBSUJUJPOTJOBTJOHMFUBCMF • )JHIMPBECZCBERVFSJFTXJUIXSPOHQBSUJUJPODPOEJUJPO • 8IBUXFXBOUUPBDIJFWF •

-:$PSQPSBUJPO "QBDIF*DFCFSH $IBMMFOHFT

-:$PSQPSBUJPO • .PUJWBUJPO • OUSPEVDF"QBDIFDFCFSHCFOFGJUJOUPFYJTUJOHEBUBQMBUGPSN • .JOJNJ[FTJEFFGGFDUUPEBUBSFMBUFEXPSL • 1BJO1PJOUT •

-:$PSQPSBUJPO • .PUJWBUJPO • ,FFQ)BEPPQDMVTUFSIFBMUIZ • .BLFQMBUGPSNFBTZUPVTFGPSFWFSZPOF • 1BJO1PJOUT •

-:$PSQPSBUJPO

-:$PSQPSBUJPO 4VNNBSZ

-:$PSQPSBUJPO • -:$PSQPSBUJPOOPXUSJFTUPJOUSPEVDF"QBDIFDFCFSHJOUP FYJTUJOH&#TDBMFQMBUGPSN • "QBDIFDFCFSHXJMMCSJOHVTBMPUPGCFOFGJUTMJLF • #VTJOFTTGMFYJCJMJUZ • 4ZTUFNTUBCJMJUZ

-:$PSQPSBUJPO 5IBOL:PV

-:$PSQPSBUJPO &0%