Upgrade to Pro — share decks privately, control downloads, hide ads and more …

카카오 광고 AI 추천 MLOps 아키텍처 - Feature Store 편

kakao
November 01, 2024

카카오 광고 AI 추천 MLOps 아키텍처 - Feature Store 편

#AI #FeatureStore #MLOps #Data

광고추천 조직의 Ai MLOps - Yggdrasil 시스템 중 Feature Store 플랫폼에 대해서 소개합니다.
데이터 사이언티스트 친화적으로 구축하여 학습 및 추론 요구사항을 만족시키고, 효율적이며 일관적인 피처 관리를 달성한 점을 중점적으로 다룹니다.
특히, raw data로부터 feature를 추출하여 적절히 가공하고, 페타바이트 이상의 조단위 건의 대용량 데이터를 처리하는 내용을 공유하고자 합니다.

발표자 : ben.ny, eli.nabro
ben.ny - 광고추천개발에서 데이터 엔지니어링을 하고 있는 벤입니다.
eli.nabro - 광고추천 조직의 일라이입니다. MLOps 의 Feature, 모델을 기술적으로 다루는 업무를 하고 있습니다.

kakao

November 01, 2024
Tweet

More Decks by kakao

Other Decks in Programming

Transcript

  1. ࢎਊ੗ ҟҊ૑ݶ ҟҊ઱ ҃ݒ ౟ې೗ ҟҊ ҟҊо֢୹غחҗ੿ ↟ ౟ې೗੉ߊࢤೞݶ҃ݒ۽ҟҊѾ੿ ↟

    ѐ߹ࢎਊ੗੄ౠࢿਸҊ۰ ↟ ֫਷о஖ܳହ୹ೡࣻ੓חҟҊܳࢶ੿ ↟ ੸੺ೠੑ଴оܳѾ੿
  2. ҟҊ୶ୌ౱੉਍৔ೞחݽ؛ ↟ #"৘ஏݽ؛ ↟ $53৘ஏݽ؛ ↟ $73৘ஏݽ؛ ↟ F$1.чઑ੺ݽ؛ ↟

    ҟҊݫद૑оࠁղ૕؀࢚ਬ੷ܳҎۄ઱חݽ؛ ↟ ਬ੷ಽఋѱ౴ݽ؛ ↟ ܻఋѱ౴ݽ؛ ↟ 
  3. ஠஠য়ҟҊ୶ୌ.-0QTTZTUFN:HHESBTJM ↟ ,FZ - WBMVFद҅ৌ'FBUVSFTUPSF .FTTFOHFS &OSJDIFS द҅ৌ 'FBUVSFTUPSF 'FBUVSF.BLFS

    ೟णؘ੉ఠ 8FC6* पदр߈਽ؘ੉ఠ ੗ࢎߓ஖ؘ੉ఠ ,FZ - WBMVF 'FBUVSFTUPSF 2VFSZ&OHJOF
  4. ,FZ - WBMVF'FBUVSFTUPSF ↟ ,FZ - WBMVF'FBUVSFח೟ण ୶ۿ ࢲࡂ١ীࢎਊ 4FSWFS

    .FTTFOHFS &OSJDIFS द҅ৌ 'FBUVSFTUPSF 'FBUVSF.BLFS 8FC6* पदр߈਽ؘ੉ఠ ੗ࢎߓ஖ؘ੉ఠ ,FZ - WBMVF 'FBUVSFTUPSF ߸ജ 2VFSZ&OHJOF
  5. द҅ৌ'FBUVSFTUPSFী੓חؘ੉ఠ৘द ↟ ؘ੉ఠղ'FBUVSFٜ੄NFUB੿ࠁח'FBUVSF.FUB%#ী੷੢ؽ \ VTFS\ BHF HFOEFS. ^ EFWJDF\ 04"OESPJE

    ^ ^ 'FBUVSF UZQF EFGBVMUWBMVF  BHF *OU   HFOEFS 4USJOH .  04 4USJOH "OESPJE  द҅ৌ'FBUVSF - 4UPSFী੓ח'FBUVSF੄ݫఋ੿ࠁ ஠஠য়חѐੋ੿ࠁࠁഐߨਸળࣻ೤פ׮
  6. EBUBTPVSDF GFBUVSF QBUI TPVSDF BHF VTFSBHF TPVSDF PT EFWJDF04 TPVSDF

    BHF JOGPBHF 'FBUVSF UZQF EFGBVMUWBMVF BHF *OU  HFOEFS 4USJOH . 04 4USJOH "OESPJE 4PVSDF'FBUVSFNBQ %BUB4PVSDF EFTDSJQUJPO NBJOUBJOFS TPVSDF DMJDLMPH CFO TPVSDF QVSDIBTFMPH FMJ
  7. EBUBTPVSDF GFBUVSF QBUI TPVSDF BHF VTFSBHF TPVSDF PT EFWJDF04 TPVSDF

    BHF JOGPBHF 'FBUVSF EFTDSJQUJPO NBJOUBJOFS TPVSDF DMJDLMPH CFO TPVSDF QVSDIBTFMPH FMJ UZQF EFGBVMUWBMVF BHF *OU  HFOEFS 4USJOH . 04 4USJOH "OESPJE EBUBTPVSDF TUPSBHF MPDBUJPO TPVSDF $BTTBOESB MPDBUJPO TPVSDF )%'4 MPDBUJPO TPVSDF $BTTBOESB 4PVSDF'FBUVSFNBQ %BUB4PVSDF %BUB-PDBUJPO
  8. EBUBTPVSDF GFBUVSF QBUI TPVSDF BHF VTFSBHF TPVSDF PT EFWJDF04 TPVSDF

    BHF JOGPBHF 'FBUVSF EFTDSJQUJPO NBJOUBJOFS TPVSDF JUTTPVSDF CFOOZ TPVSDF JUTTPVSDF FMJOBCSP UZQF EFGBVMUWBMVF BHF *OU  HFOEFS 4USJOH . 04 4USJOH "OESPJE EBUBTPVSDF TUPSBHF MPDBUJPO TPVSDF $BTTBOESB MPDBUJPO TPVSDF )%'4 MPDBUJPO TPVSDF $BTTBOESB 4PVSDF'FBUVSFNBQ %BUB4PVSDF %BUB-PDBUJPO 'FBUVSF$BUBMPHܳઁҕೣਵ۽ॄ
  9. ↟ %BUBTDJFOUJTUח8FC6*۽౵੉೐ۄੋਸࢤࢿ ↟ ؘ੉ఠܳоҕ೧೟णؘ੉ఠܳࢤࢿೞҊ0CKFDUTUPSBHFী੷੢ द҅ৌ 'FBUVSFTUPSF 2VFSZ&OHJOF 'FBUVSF.BLFS 8FC6* पदр߈਽ؘ੉ఠ

    ੗ࢎߓ஖ؘ੉ఠ ,FZ - WBMVF 'FBUVSFTUPSF ೟णؘ੉ఠࢤࢿ౵੉೐ۄੋ .FTTFOHFS &OSJDIFS ౵੉೐ۄੋࢤࢿ ೟णؘ੉ఠ
  10. %BUB&5-'MPX ↟ &YUSBDUPSࢎਊ੗۽Ӓઑഥ ࢠ೒݂ ೖ୛୶୹ ↟ 5SBOTGPSNFS೙ఠ ઑੋ ߸ജ ↟

    -PBEFS࣊೒ ੸੤ &YUSBDUPS 5SBOTGPSNFS द҅ৌ 'FBUVSFTUPSF .BOBHFS 4FSWFS 8FC6* ೟णؘ੉ఠ 1JQFMJOF.FUB -PBEFS
  11. ׳ࢿ%BUB 'FBUVSFन܉ࢿഛࠁ #FGPSF "GUFS ౵੉೐ۄੋ-BZFS߹'FBUVSFࠛੌ஖അ࢚੣਺  ೟ण1JQFMJOF߹'FBUVSFࢤࢿ୶୹߸ജӏ஗౵ಞച  4FSWJOH-FBSOJOH1JQFMJOFद੼ࠛੌ஖ 

    %BUB੄ਗୌҗౠ૚ী؀೧ࢲ׸׼੗݅ঌҊ੓Ҋੋࣻੋ҅غ૑ޅೣ -> ૑ࣘ੸ழޭפா੉࣌߂)JTUPSZҙܻܻࣗझߊࢤ Ҿӓ੸ਵ۽ݽ؛ࢿמ੷ೞ 'FBUVSF4UPSFبੑਵ۽'FBUVSFੌҙࢿन܉ࢿਬ૑  'FBUVSFࢎਊ୊ী؀೧ࢲੌҙࢿ׳ࢿ  ઺ঔ૘઺ചػ%BUBࣗझҙܻ৬пݫఋ੿ࠁदझమبੑ -> %BUB߂'FBUVSFन܉ࢿഛࠁ
  12. 4UPSBHFഛ੢ 'FBUVSFTUPSF $BTTBOESB *DFCFSH 4ZOD 2VFSZ&OHJOF &OSJDIFS ↟ द҅ৌ'FBUVSF4UPSF੄)PU$PME4UPSBHFҳ࠙߂ഛ੢ ↟

    ܻబ࣌ഛ੢߂য়೐ۄੋ೟ण౵੉೐ۄੋ੿࠺ ↟ ੢ӝؘ੉ఠݽ؛೟ण:HHESBTJMಞੑ
  13. 2"