Slide 1

Slide 1 text

೔ܥେखͱ೔ܥελʔτΞοϓͱ֎ࢿܥ Ͱಇ͍ͯΈͨ Yuki Shiga (@yush1ga)

Slide 2

Slide 2 text

● ݱ৬ ○ Solutions Architect@Databricks ● ޷͖ͳ΋ͷ ○ ϥʔϝϯ ○ ອը ○ σʔλؔ࿈ٕज़ ● ͦͷଞ ○ ࣗ୐ʹ Spark Ϋϥελ͋Γ·͢ ࣗݾ঺հ

Slide 3

Slide 3 text

● DATA + AI Company ○ Spark, MLFlow, Delta Lake ͷ
 ։ൃऀʹΑΓઃཱ ● Databricks Data Intelligence Platform ○ ETL ○ σʔλ΢ΣΞϋ΢ε ○ BI ○ σʔλΧλϩά ○ ػցֶशج൫ Databricks δϟύϯެࣜ X ΞΧ΢ϯτ @DatabricksJP

Slide 4

Slide 4 text

2014 2016 2018 2020 2022 2024 υΠπཹֶ υΠπਓ޻஌ೳη ϯλʔʹཹֶ
 έόϒΛͨ͘͞Μ ৯΂Δ ΩϟϦΞ म࢜՝ఔ ඇৗʹ໛ൣతͳ ֶੜͱͯ͠ৼΔ෣͏ ֶձ in US ࣭ٙԠ౴ͰਏࢎΛ
 ঐΊΔ ೔ܥେखWeb εΫϥϜͰ
 ϛυϧ΢ΣΞ։ൃ ग़ு in US ΞϝϦΧͱڞಉ։ൃ ΧϯϑΝϨϯεࢀՃ R&Dʹҟಈ σʔλͷྖҬʹ໭͖ͬͯͨ NLPɾը૾ೝࣝʹऔΓ૊Ή ग़ு in US ֶձࢀՃ (ௌߨ) ೔ܥελʔτΞοϓ MLɾσʔλνʔϜͷ্ཱͪ͛ ֎ࢿܥ ιϦϡʔγϣϯ
 ΞʔΩςΫτʹ ΩϟϦΞνΣϯδ

Slide 5

Slide 5 text

೔ܥେखWebاۀ ब৬ͷ͖͔͚ͬ ○ Ұ൪࠷ॳʹ಺ఆΛ͘Εͨ (M1ͷ1݄͘Β͍) ○ ࢖ͬͨ͜ͱ͋ΔαʔϏεͳͷͰΠϝʔδ͠΍͔ͬͨ͢
 ○ ߴ͍ٕज़ਫ४ ○ ΩϥΩϥ౎ձੜ׆ ○ εϩʔͳঢڅϖʔε
 ○ ֤෼໺ͷϓϩ͕ࡏ੶ ○ ͜Ε·Ͱ௨Γͷੜ׆ ○ ϝϦϋϦ͋ΔධՁ ೖࣾલͷҹ৅ ೖࣾޙͷ࣮ࡍ

Slide 6

Slide 6 text

೔ܥελʔτΞοϓ స৬ͷ͖͔͚ͬ ● ෭ۀΛ͍ͯͯ͠༠ΘΕͨ ● ࡞ͬͨ΋ͷ͕ੈʹग़ͦ͏
 ● େ͖͍ࡋྔ ● εϐʔυײ ● ௕࣌ؒ࿑ಇ
 ● σʔλج൫ɺػցֶशϞσϦϯάɺAPI։ൃɺEMɺ࠾༻ ● ϦϦʔεʹࢸΔPJଟ਺ ● ҙ֎ͱఆ࣌ ೖࣾલͷҹ৅ ೖࣾޙͷ࣮ࡍ

Slide 7

Slide 7 text

֎ࢿܥ స৬ͷ͖͔͚ͬ ● ֎ࢿܥاۀͱSAͱ͍͏৬छʹڵຯ͕͋ͬͨ ● σʔλܥͷΩϟϦΞΛ׆͔ͤͦ͏
 ● ߴ͍ٕज़ਫ४ ● άϩʔόϧɾίϛϡχέʔγϣϯ ● ੒Ռओٛ
 ● ֤෼໺ͷϓϩ͕ࡏ੶ (ཁӳޠ) ● ճආෆೳͷӳޠίϛϡχέʔγϣϯ͸࣌ʑ ● ໨ඪ͸ߴΊ ೖࣾલͷҹ৅ ೖࣾޙͷ࣮ࡍ

Slide 8

Slide 8 text

։ൃऀ͔ΒιϦϡʔγϣϯΞʔΩςΫτ΁ ֎ࢿܥͷϙδγϣϯ͸ٕज़ࢧԉͷϩʔϧ͕ଟ͍ (ཁग़య) ͜Ε·Ͱͷܦݧ ݱ৬ʹ׆͔ͤΔ఺ ● ։ൃऀدΓ ○ ػցֶशΤϯδχΞ ○ σʔλαΠΤϯςΟετ ○ όοΫΤϯυΤϯδχΞ ○ EM ● ٕज़ཧղ ○ ٕज़෼໺͸͜Ε·Ͱͱڞ௨ ● ސ٬ཧղ ○ ͓٬༷ͷؾ͕࣋ͪΘ͔Δ ● ࣮૷ྗ ○ ίʔυΛॻ͘ػձ͸͋Δ

Slide 9

Slide 9 text

͜͜·Ͱ n=1 ● ೔ܥେखاۀಉ࢜Ͱ΋จԽ͸ҟͳΔ ● ελʔτΞοϓಉ࢜Ͱ΋จԽ͸ҟͳΔ ● ֎ࢿܥಉ࢜Ͱ΋จԽ͸ҟͳΔ اۀͷΧςΰϦͰ൑அͤͣ ΩϟϦΞΛۛຯ͢Δͷ͕͓͢͢Ί

Slide 10

Slide 10 text

͓ΘΓ