日系大手と日系スタートアップと外資系で働いてみた

LT資料
https://findy.connpass.com/event/310652/

Transcript

1. ೔ܥେखͱ೔ܥελʔτΞοϓͱ֎ࢿܥ Ͱಇ͍ͯΈͨ Yuki Shiga (@yush1ga)
2. • ݱ৬ ◦ Solutions Architect@Databricks • ޷͖ͳ΋ͷ ◦ ϥʔϝϯ ◦ ອը ◦ σʔλؔ࿈ٕज़ • ͦͷଞ ◦ ࣗ୐ʹ Spark Ϋϥελ͋Γ·͢ ࣗݾ঺հ
3. • DATA + AI Company ◦ Spark, MLFlow, Delta Lake ͷ
 ։ൃऀʹΑΓઃཱ • Databricks Data Intelligence Platform ◦ ETL ◦ σʔλ΢ΣΞϋ΢ε ◦ BI ◦ σʔλΧλϩά ◦ ػցֶशج൫ Databricks δϟύϯެࣜ X ΞΧ΢ϯτ @DatabricksJP
4. 2014 2016 2018 2020 2022 2024 υΠπཹֶ υΠπਓ޻஌ೳη ϯλʔʹཹֶ
 έόϒΛͨ͘͞Μ ৯΂Δ ΩϟϦΞ म࢜՝ఔ ඇৗʹ໛ൣతͳ ֶੜͱͯ͠ৼΔ෣͏ ֶձ in US ࣭ٙԠ౴ͰਏࢎΛ
 ঐΊΔ ೔ܥେखWeb εΫϥϜͰ
 ϛυϧ΢ΣΞ։ൃ ग़ு in US ΞϝϦΧͱڞಉ։ൃ ΧϯϑΝϨϯεࢀՃ R&Dʹҟಈ σʔλͷྖҬʹ໭͖ͬͯͨ NLPɾը૾ೝࣝʹऔΓ૊Ή ग़ு in US ֶձࢀՃ (ௌߨ) ೔ܥελʔτΞοϓ MLɾσʔλνʔϜͷ্ཱͪ͛ ֎ࢿܥ ιϦϡʔγϣϯ
 ΞʔΩςΫτʹ ΩϟϦΞνΣϯδ
5. ೔ܥେखWebاۀ ब৬ͷ͖͔͚ͬ ◦ Ұ൪࠷ॳʹ಺ఆΛ͘Εͨ (M1ͷ1݄͘Β͍) ◦ ࢖ͬͨ͜ͱ͋ΔαʔϏεͳͷͰΠϝʔδ͠΍͔ͬͨ͢
 ◦ ߴ͍ٕज़ਫ४ ◦ ΩϥΩϥ౎ձੜ׆ ◦ εϩʔͳঢڅϖʔε
 ◦ ֤෼໺ͷϓϩ͕ࡏ੶ ◦ ͜Ε·Ͱ௨Γͷੜ׆ ◦ ϝϦϋϦ͋ΔධՁ ೖࣾલͷҹ৅ ೖࣾޙͷ࣮ࡍ
6. ೔ܥελʔτΞοϓ స৬ͷ͖͔͚ͬ • ෭ۀΛ͍ͯͯ͠༠ΘΕͨ • ࡞ͬͨ΋ͷ͕ੈʹग़ͦ͏
 • େ͖͍ࡋྔ • εϐʔυײ • ௕࣌ؒ࿑ಇ
 • σʔλج൫ɺػցֶशϞσϦϯάɺAPI։ൃɺEMɺ࠾༻ • ϦϦʔεʹࢸΔPJଟ਺ • ҙ֎ͱఆ࣌ ೖࣾલͷҹ৅ ೖࣾޙͷ࣮ࡍ
7. ֎ࢿܥ స৬ͷ͖͔͚ͬ • ֎ࢿܥاۀͱSAͱ͍͏৬छʹڵຯ͕͋ͬͨ • σʔλܥͷΩϟϦΞΛ׆͔ͤͦ͏
 • ߴ͍ٕज़ਫ४ • άϩʔόϧɾίϛϡχέʔγϣϯ • ੒Ռओٛ
 • ֤෼໺ͷϓϩ͕ࡏ੶ (ཁӳޠ) • ճආෆೳͷӳޠίϛϡχέʔγϣϯ͸࣌ʑ • ໨ඪ͸ߴΊ ೖࣾલͷҹ৅ ೖࣾޙͷ࣮ࡍ
8. ։ൃऀ͔ΒιϦϡʔγϣϯΞʔΩςΫτ΁ ֎ࢿܥͷϙδγϣϯ͸ٕज़ࢧԉͷϩʔϧ͕ଟ͍ (ཁग़య) ͜Ε·Ͱͷܦݧ ݱ৬ʹ׆͔ͤΔ఺ • ։ൃऀدΓ ◦ ػցֶशΤϯδχΞ ◦ σʔλαΠΤϯςΟετ ◦ όοΫΤϯυΤϯδχΞ ◦ EM • ٕज़ཧղ ◦ ٕज़෼໺͸͜Ε·Ͱͱڞ௨ • ސ٬ཧղ ◦ ͓٬༷ͷؾ͕࣋ͪΘ͔Δ • ࣮૷ྗ ◦ ίʔυΛॻ͘ػձ͸͋Δ
9. ͜͜·Ͱ n=1 • ೔ܥେखاۀಉ࢜Ͱ΋จԽ͸ҟͳΔ • ελʔτΞοϓಉ࢜Ͱ΋จԽ͸ҟͳΔ • ֎ࢿܥಉ࢜Ͱ΋จԽ͸ҟͳΔ اۀͷΧςΰϦͰ൑அͤͣ ΩϟϦΞΛۛຯ͢Δͷ͕͓͢͢Ί
10. ͓ΘΓ