「Yahoo!オークション」や「Yahoo!路線情報」などを支える、イベント内容に合致する通知設定の抽出プラットフォームをレガシーシステムから移行した際のあれこれ / Various Aspects When Migrating the Notification Setting Extraction Platform Supporting "Yahoo! JAPAN Auction" and "Yahoo! JAPAN Transit Information" from Legacy Systems

ヤフーの通知を長年支えるシステムの中に、イベント内容にマッチするユーザー設定を見つけ出す役割を担うコンポーネントがあります。しかし、近年ではビルドの困難さやメンテナンスの難しさ、IaaS依存といった問題が顕著化しました。
そこで、互換性を保ちつつこの問題を解決するために新たなコンポーネントを開発しました。新コンポーネントでは、開発言語を変更することでの修正コスト削減、コンポーネント分割や内部キャッシュの一元管理によるリソース効率の改善などの施策を講じました。また、開発したシステムが問題なく動作することを検証するために新旧システムの入出力を比較しました。
この発表では、大規模通知システムの再設計やその過程で直面した課題とその解決策などについて解説します。

Transcript

1. 7BSJPVT
   "TQFDUT
   8IFO
   .JHSBUJOH
   UIF
   /PUJGJDBUJPO
   4FUUJOH
   &YUSBDUJPO
   1MBUGPSN
   
   4VQQPSUJOH
   :BIPP
   +"1"/
   "VDUJPO
   BOE
   :BIPP
   +"1"/
   5SBOTJU
   *OGPSNBUJPO
   
   GSPN
   -FHBDZ
   4ZTUFNT 4*
   (SPVQ
   /PUJGJDBUJPO
   1MBUGPSN
   %FQBSUNFOU 5BLBBLJ
   ,PNFEB
   ,PKJ
   4BUP IBQQZTBUP 「Yahoo!オークション」や「Yahoo!路線情報」などを支える イベント内容に合致する通知設定の抽出プラットフォームを レガシーシステムから移行した際のあれこれ
2. "CPVU
   6T ,PKJ
   4BUP IBQQZTBUP l/PUJGJDBUJPOz
   1MBUGPSN
   %FQBSUNFOU 5BLBBLJ
   ,PNFEB
3. 8FC 0GGJDJBM
   "DDPVOU /PUJGJDBUJPO
   $IBOOFMT
   8F
   4VQQPSU ࢲͨͪͷѻ͏഑৴ઌ .BJM 1VTI
4. &YBNQMFT
   PG
   4FSWJDF
   *OUFSGBDFT αʔϏεը໘ͷྫ
5. &YBNQMFT
   PG
   4FSWJDF
   *OUFSGBDFT αʔϏεը໘ͷྫ 8IBU
   JOGP
   JT
   OFFEFE Կͷ৘ใΛड͚औΓ͍͔ͨ 8IJDI
   EFMJWFSZ
   NFUIPE ഑৴ઌ͸Կ͔ 4FOE
   OPX
   PS
   MBUFS ͍·͙͢ड͚औΓ͍͔ͨ ͋Δ࣌ؒʹ·ͱΊͯड͚औΔ͔
6. )PX
   .BUDIJOH
   8PSLT
   JO
   UIF
   /PUJGJDBUJPO
   'MPX Ϛονϯάίϯϙʔωϯτͷಈ࡞ 4FSWJDF CBDLFOE .BUDIJOH DPNQPOFOU %FMJWFSZ
   4ZTUFNT Saving Settings User Extraction 中古 テレビ 42型 リモコン付き 送料込み Used 42-inch TV with remote control, shipping included. Used 42-inch .BUDI Notification Event
7. 6TBHF
   )JTUPSZ
   BOE
   1SPKFDU
   #BDLHSPVOE ࢖༻ྺͱϓϩδΣΫτഎܠ *O
   VTF
   TJODF
    ೥͔Β࢖ΘΕ͍ͯΔ௕णγεςϜ 8JEFMZ
   VTFE
   CZ
   NBOZ
   VTFST ଟ͘ͷϢʔβʔʹ࢖༻͍͍͍ͨͩͯΔ #VJMU
   PO
   UIF
   XJTEPN
   PG
   PVS
   QSFEFDFTTPST ઌਓͨͪͷ஌ܙ͕٧·͍ͬͯΔ 3FQMBDFE
   BGUFS
   
   NPOUIT
   PG
   QMBOOJOH
   BOE
   
   ZFBS
   PG
   XPSL ܭըͱ࣮ࢪ߹Θͤͯ೥ͷϓϩδΣΫτ
8. • 0QUJNJ[FE
   CVU
   PVUEBUFE
   BOE
   IBSE
   UP
   NBJOUBJO • 4DBMJOH
   BOE
   PQT
   XFSF
   DPTUMZ
   BOE
   DPNQMFY • 'FX
   DPVME
   IBOEMF
   JU
   TBGFMZ 
   %FDJEFE
   UP
   SFQMBDF
   JU
   CBTFE
   PO
   UIF
   DVSSFOU
   TJUVBUJPO #BDLHSPVOE
   -FBEJOH
   UP
   UIF
   3FQMBDFNFOU ϦϓϨʔε͢Δ͜ͱʹͳͬͨܦҢ ʮ͍͢͝ʂʯ͚Ͳʮݹ͍ʂʯʮ৮Εͳ͍ʂʯঢ়ଶ εέʔϧ΍ӡ༻ίετ͕ߴ͘ෳࡶ ҆શʹ৮ΕΒΕΔਓ͕΄ͱΜͲ͍ͳ͍ ݱঢ়Λ౿·͑ϦϓϨʔεΛ͢Δ͜ͱʹ
9. #FGPSF "GUFS 1PJOU 1SPHSBNNJOH -BOHVBHF $ (P • 1FSGPSNBODFPSJFOUFE • $POTJEFS
   JOUFSOBM
   BEPQUJPO
   SBUF 0QFSBUJOH
   &OWJSPONFOU *BB4 $BB4 • "DIJFWFE
   UISPVHI
   JNQMFNFOUBUJPO
   BOE
   DPOGJHVSBUJPO
   SFWJFX %FMJWFSZ
   4FUUJOH
   %BUB -PDBM 4IBSFE
   ,74 • 3FEVDFE
   JOGSB
   DPTU • "QQMJDBUJPO
   CFDPNFT
   TUBUFMFTT %JTUSJCVUJPO
   $PVOU 'JYFE 4DBMBCMF • "EKVTUBCMF
   EJTUSJCVUJPO
   DPVOU
   CBTFE
   PO
   OPUJGJDBUJPO
   TDBMF • *NQSPWF
   SFTPVSDF
   FGGJDJFODZ "QQMJDBUJPO
   "SDIJUFDUVSF .JYFEJOPOF 4QMJU • "MMPX
   DIBOHJOH
   EJTUSJCVUJPO
   DPVOU
   QFS
   BQQ ,FZ
   %JGGFSFODFT
   #FUXFFO
   UIF
   4ZTUFNT
   #FGPSF
   BOE
   "GUFS
   3FQMBDFNFOU ϦϓϨʔεલޙͷγεςϜͷओͳҧ͍
10. setting event event2 KVS 80VMs 10pods 40pods 20pods KVS/RDB Setting Update Notification Event setting event #FGPSF "GUFS Setting Update Notification Event
11. 7BSJPVT
    "TQFDUT
    8IFO
    .JHSBUJOH Ҡߦͨ͠ࡍͷ͋Ε͜Ε • *OJUJBMMZ
    "OUJDJQBUFE
    *TTVFT • *T
    UIF
    PVUQVU
    USVMZ
    UIF
    TBNF
    BT
    UIF
    PME
    TZTUFN • "SF
    UIFSF
    BOZ
    NJTEFMJWFSJFT FUD • *TTVFT
    &ODPVOUFSFE
    %VSJOH
    %FWFMPQNFOU
    BOE
    5FTUJOH • )JHIFS
    DPTU
    UIBO
    FYQFDUFE • &WFOU
    QSPDFTTJOH
    JT
    UPP
    TMPX • %FMJWFSZ
    DPVOU
    EJGGFST
    GSPN
    FYQFDUBUJPOT FUD • $BOU
    DPWFS
    FWFSZUIJOH
    TP
    IFSFT
    B
    TFMFDUJPO
12. • 7BMJEBUFE
    PVUQVU
    XJUI
    SFBMUJNF
    UFTU
    TZTUFN • 0VUQVU
    $POGJHVSBUJPO
    EBUB
    UBSHFUFE
    GPS
    EFMJWFSZ • $PNQBSFE
    DPOUFOU
    BOE
    UBSHFU
    DPVOUT • 6TFE
    BOPOZNJ[FE
    QSPEVDUJPO
    EBUB
    VOEFS
    SFBM
    MPBE l*T
    UIF
    PVUQVU
    USVMZ
    UIF
    TBNF
    BT
    UIF
    PME
    TZTUFN z چγεςϜͱຊ౰ʹಉ͡ग़ྗʹͳ͍ͬͯΔʁ Production Notification Event New System Sanitize Compare Test Production Current Copy Current ग़ྗͷʮ಺༰ʯͱʮ਺ྔʯΛͦΕͧΕൺֱ ग़ྗ
    ഑৴ର৅ͷઃఆσʔλ ϦΞϧλΠϜͰग़ྗΛൺֱ͢ΔςετγεςϜ ಗ໊Խ͞ΕͨϓϩμΫγϣϯ؀ڥͷ࣮σʔλΛ࢖༻
13. • )JHI
    DPTU
    UP
    VTF
    ,74
    POMZ
    GPS
    TFUUJOHT • 4XJUDIFE
    UP
    IZCSJE
    3%#
    
    ,74 l)JHIFS
    DPTU
    UIBO
    FYQFDUFEz ίετ͕ࢥͬͨΑΓߴ͍ʂ ઃఆ͕,74ͷΈͩͱߴίετ 3%#ͱ,74Λซ༻͢Δ࢓૊Έʹมߋ
14. Is there a KVS record? Use KVS content Notification Event Subsequent processing Generate KVS record from RDB Setting Update Save in RDB Is there a KVS record? Save in KVS Subsequent processing :FT /P /P :FT
15. Is there a KVS record? Use KVS content Notification Event Subsequent processing Generate KVS record from RDB Setting Update Save in RDB Is there a KVS record? Save in KVS Subsequent processing :FT /P /P :FT
16. Is there a KVS record? Use KVS content Notification Event Subsequent processing Generate KVS record from RDB Setting Update Save in RDB Is there a KVS record? Save in KVS Subsequent processing :FT /P /P :FT
17. • .BUDIJOH
    UPPL
    TSFRVFTU
    r
    UPP
    TMPX • 5IF
    GJMUFSJOH
    QSPDFTT
    XBT
    B
    CPUUMFOFDL • .BEF
    JU
    
    UJNFT
    GBTUFS
    UP
    SFBDI
    VTBCMF
    TQFFE l&WFOU
    QSPDFTTJOH
    JT
    UPP
    TMPXz Πϕϯτॲཧ͕஗͗͢Δʂ ΠϕϯτϚονϯάʹඵSFR͔͔͍ͬͯͯͱͯ΋஗͍ʂ ઃఆͷߜΓࠐΈ෦෼͕ωοΫʹͳ͍ͬͯͨ #FGPSF "GUFS 1SPDFTTJOH
    5JNF X10 Faster ͜ΕΛഒૣ࣮ͯ͘͠༻ʹ଱͑ΒΕΔ଎౓ʹͨ͠
18. “Used TV” “Used wallet" ” Used sneakers” UserA UserB UserC
19. [UserA: ”Used TV”, UserB: ”Used wallet”, UserC: “Usedsneakers”, ・・・] ・・・ Used TV 42-inch 中古 テレビ 42型 リモコン付き 送料込み Used 42-inch TV with remote control, shipping included. Index “Used”
20. ・・・ Used TV 42-inch 中古 テレビ 42型 リモコン付き 送料込み Used 42-inch TV with remote control, shipping included. Index “Used TV” [UserA: ”Used TV”]
21. • 3FQMBDFE
    UIF
    TZTUFN
    CFIJOE
    OPUJGJDBUJPOT • 3FTPMWFE
    NVMUJQMF
    JTTVFT
    EVSJOH
    UIF
    SFQMBDFNFOU
    QSPDFTT • 'PS
    RVFTUJPOT
    QMFBTF
    WJTJU
    UIF
    RVFTUJPO
    CPPUI 4VNNBSZ ·ͱΊ ௨஌ͷཪଆʹ͋ΔγεςϜΛϦϓϨʔε ϦϓϨʔεதʹ༷ʑͳ՝୊Λ৐Γӽ͖͑ͯͨ ࣭໰ͳͲ͸࣭໰ϒʔε΁Ͳ͏ͧ