)JSPNV
/BLBNVSB

QFSGUPLZP
 
--.0QTͷύϑΥʔϚϯεΛࢧ͑Δٕज़ 

)JSPNV
/BLBNVSB )JSPNV
/BLBNVSB QPSJO "*.-0QT
&OHJOFFS

*OUFSFTUJOH
JO
*OGPSNBUJPO
3FUSJFWBM 

-BZFS9ͷ--.0QT 

-BZFS9͸ݱࡏ"*
"HFOUΛΰϦΰϦ ਐΊ͍ͯΔ https://layerx.co.jp/news/20250401/ 

--.0QT͸ॏཁج൫ ϓϩϯϓτόʔδϣϯ؅ཧ
--.࣮ߦ࣌ͷτϨʔεͳͲͷΦϒβʔόϏϦςΟ
Ϟσϧ͝ͱͷਫ਼౓ݕূ
ධՁσʔληοτ؅ཧ
࣮ݧͷ؅ཧ 

-BOHGVTFΠϯϑϥߏ੒ w Ϋϥ΢υ൛ͱηϧϑϗετ൛͕͋Δ
w Ϋϥ΢υ൛͸೔ຊϦʔδϣϯ͕ͳ͘ɺσʔλ؅ཧͷ؍఺͔ΒηϧϑϗετΛબ୒
w σʔλετΞͱͯ͠
1PTUHSF42-
4 $MJDL)PVTF Λ༻͍Δ 

$MJDL)PVTFͱ͸ Φʔϓϯιʔεͷ෼ੳ޲͚
0-"1
ྻࢦ޲σʔλϕʔε
-BOHGVTF
τϨʔε݁Ռ౳ͷ֨ೲઌͱͯ͠ར༻
ॻ͖ࠐ·Εͨσʔλ͸ϒϩοΫετϨʔδͰอ؅͞ΕΔ
"84
ͷ৔߹͸

΍
&'4
ͳͲ
ࠓճ͸
&'4
Λ࠾༻
ෳ਺αʔόʹΑΔΫϥελߏ੒ʹରԠ 

ΞʔΩςΫνϟ -BOHGVTF
"-#
ܦ༝ͷ
&$4
PO
'BSHUFB
୯Ұͷ
&$4
4FSWJDFɺ"VUP
4DBMJOH
༗ޮԽ
$MJDL)PVTF
/-#
ܦ༝ͷ
&$4
PO
'BSHUFB
αʔό͝ͱʹݸผͷ
&$4
4FSWJDF
Λ࡞੒
಺෦௨৴͸ϩʔυόϥϯαΛڬ·ͣ௚઀௨৴ 

໰୊ͱվળ 

ແࣄՔಇʂͱࢥͬͨΒʜ • ຖ೔ͷΑ͏ʹλεΫ͕ෆ҆ఆͳঢ়ଶʹ • Langfuse ͕τϨʔεΛه࿥Ͱ͖ͳ͔ͬͨͱΤϥʔΛు͘ • Max attempts reached for * record. Dropping record. • େྔͷHTTPλΠϜΞ΢τ • ClickhouseWriter.writeToClickhouse Error: Timeout error. 

$16.FNPSZ͸·ͩ༨༟͕͋Δ 

"*͸ωοτϫʔΫͷ໰୊ͩͱݴ͍ுͬͯΔ ωοτϫʔΫͷ໰୊Ͱ͠ΐ͏ʂʂʂ ͔͠͠ɺ֤λΠϜΞ΢τઃఆΛ֬ೝͯ͠΋ɺ໰୊͸ͳͦ͞͏ɻ
ͦ΋ͦ΋T͔͚ͯ΋τϨʔεʹॻ͖ࠐΊͳ͍%#͕͓͔͍͠ɻ 

&'4ͷ໰୊Λൃݟ w 5ISPVHIQVU
VUJMJ[BUJPO
͕ৗʹߴ͍͜ͱ͕ൃ֮ 

&'4
5ISPVHIQVU
NPEFʹ͍ͭͯ w 5ISPVHIQVU
VUJMJ[BUJPO
͕ৗʹߴ͍͜ͱ͕ൃ֮
• EFS ʹ͸εϧʔϓοτϞʔυ͕3छྨ͋Γɺཁ݅ʹ߹Θͤͯબ୒Մೳ • Elastic: ར༻ঢ়گʹ߹Θͤͯࣗಈతʹεέʔϧ • Bursting: ετϨʔδ࢖༻ྔʹൺྫͯ͠εϧʔϓοτ΋૿͑Δ • Provisioned: ࢦఆͨ͠εϧʔϓοτྔΛݻఆͰ֬อ • ֘౰ͷ EFS ͸ Bursting ʹͳ͍ͬͯͨ • ࢖͍࢝Ίͨ͹͔ΓͰ࢖༻ྔ͸ 3~4GiB ΄Ͳ • ετϨʔδ 1GiB ͋ͨΓ 50KiBps ͷεϧʔϓοτ࿮ → 200KiB/s ΄Ͳ͔͠ͳ͍ 

&'4
5ISPVHIQVU
NPEFͷมߋ • Bursting → Elastic ΁มߋͯ͠ঢ়گ͕վળͨ͠ • AWS ίϯιʔϧͷॳظ஋͸ Elastic • Terraformaws provider ͷॳظ஋͸ Bursting ͳ͜ͱΛݟམͱ͍ͯͨ͠ (ຌϛε) 

$MJDL)PVTF
%FFQ
%JWF 

$MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़ w τϨʔεͷॻ͖ࠐΈͰΤϥʔ͕ൃੜ͍ͯͨͨ͠ΊɺͦͷลͷڍಈΛௐࠪ͠·ͨ͠ɻ 

$MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  • InsertΛड͚ΔͱɺPartͱ͍͏୯ҐͰ σʔλΛ֨ೲ͢Δɻ • ҰؾʹInsert͢ΔͷͰ͸ͳ͘ɺҰ౓ Bufferʹ֨ೲ͢Δ͜ͱͰɺલ΋ͬͯ σʔλΛιʔτͯ֨͠ೲ͢Δɻ 

$MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  • PartΛ࡞Δࡍʹ͸σʔλΛιʔτ͠ɺΧϥ Ϝʹ෼͚ͯΠϯσοΫε৘ใͱڞʹPartͱ ͯ͠อଘ • ιʔτ͢Δ͜ͱʹΑΓɺΠϯσοΫε৘ใ ͔ΒͲͷϑΝΠϧʹඞཁͳσʔλ͕֨ೲ͞ Ε͍ͯΔ͔͕ܭࢉ͠΍͘͢ͳ͍ͬͯΔɻ 

$MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  Compress columnsͰ͸ɺgranuleͱ͍͏୯ҐʹσʔλΛ෼͚ɺprimary.idxͱ͍͏ϑΝΠϧʹ Ͳͷൣғͷσʔλ͕͋Δ͔Λอଘ͓ͯ͘͜͠ͱͰɺߴ଎ͳσʔλΞΫηεΛ࣮ݱ͍ͯ͠Δɻ 

Mark͸ΧϥϜ͝ͱʹ࡞ΒΕอଘͨ͠granuleͷ৔ॴΛḷΓ΍͘͢͢Δ $MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  

$MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  ϨϓϦέʔγϣϯ࣌ʹ͸࣍ͷσʔλΛૹ৴͢Δඞཁ͕͋Γ·͢ɻ
w ΧϥϜσʔλϑΝΠϧ DPMVNO@OBNFCJOܗࣜͷѹॖ͞Εͨσʔλ
w ΠϯσοΫεϑΝΠϧ QSJNBSZJEYͳͲͷϓϥΠϚϦΩʔΠϯσοΫε
w ϚʔΫϑΝΠϧ DPMVNO@OBNFNSLͳͲͷߦҐஔϚʔΧʔ
w ϝλσʔλϑΝΠϧ DIFDLTVNTUYU DPMVNOTUYUͳͲͷύʔπهड़৘ใ 

$MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  1BSUTͷϚʔδ΋ఆظతʹൃੜ͠·͢ɻ ϑΝΠϧγεςϜ΋͜ΕΛ૝ఆͯ͠ε ϧʔϓοτΛ֬อ͢Δඞཁ͕͋ͬͨɻ 

$MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  • ClickHouseͰ͸ϨϓϦέʔγϣϯɺϚʔδͱ͍ͬͨඇಉظॲཧ͕ൃੜ͠·͢ɻ • ϨϓϦέʔγϣϯ࣌ʹ͸ɺ͜ͷPartsΛHTTPܦ༝ͰϨϓϦέʔγϣϯ͢Δͨ ΊɺωοτϫʔΫεϧʔϓοτ΋ؾΛ͚ͭΔඞཁ͕͋Δɻ • ࠓճͷ৔߹͸ωοτϫʔΫͷλΠϜΞ΢τΑΓɺϑΝΠϧγεςϜͷλΠϜ Ξ΢τ͕௕͘ઃఆ͞Ε͍ͯͨͷ͕ࠜຊͷ໰୊ʹؾ͖ͮʹ͍͘ݪҼͰͨ͠ɻ 

·ͱΊ 

"*ʹฉ͚ͩ͘Ͱ͸Θ͔Βͳ͍ࠜຊݪҼ͸༨༟Ͱଘࡏ͢Δ ύϑΥʔϚϯε΁ͷ஌ݟɺΠϯϑϥ஌ࣝɺΞϧΰϦζϜͷ஌ࣝ͸Ҿ͖ଓ͖ඞ ཁɻֶΜͰ͍͖·͠ΐ͏ʂʂʂʂ 

"*࣌୅Ͱ΋%FFQ
%JWF͢Δ͜ͱ͸Ձ஋ ཪଆͰಈ͍͍ͯΔॲཧΛ۩ମతʹ஌Δ͜ͱͰɺύϑΥʔϚϯεɺ҆ఆੑΛ্͛Δͱ ͖ʹͲ͜ʹ໨Λ͚ͭΕ͹ྑ͍ͷ͔ͷௐ͕ࠪඇৗʹ͠΍͘͢ͳͬͨɻ
ϩά΍ϝτϦΫε͚ͩΛݟͯରԠΛ૝૾͢ΔͷͰ͸ͳ͘ɺ࣮ࡍʹཪଆΛཧղ͢Δ͜ ͱͰɺ֬৴Λ࣋ͬͨࠜຊղܾ͕Ͱ͖ΔΑ͏ʹͳͬͨɻ 

ϒϩάʹ΋ͯ͠·͢ʂʂ tech.layerx.co.jp/entry/deep-dive-clickhouse 

)JSPNV
/BLBNVSB

QFSGUPLZP
 
--.0QTͷύϑΥʔϚϯεΛࢧ͑Δٕज़ͱ ݱ৔Ͱ࣮ફͨ͠վળ