MOVの機械学習システムを支えるMLOps実践

本セッションでは機械学習システム特有の課題を踏まえ、『お客さま探索ナビ』の開発・運用における MLOps の実践について、実際の取り組みとともに紹介します。
具体的には、MLOps 技術の選定理由とナレッジ、MLOps のハマりポイントと解決策、さらなる自動化に向けて現在取り組んでいる内容などをお話しします。

Transcript

1. .07
   ͷػցֶशγεςϜΛࢧ͑Δ
   .-0QT
   ࣮ફ ླ໦
   ོ࢙
   
   
   ஙࢁ
   কԝ !1
2. DeNA TechCon 2020 #denatechcon
   
3. !3
4. !4
5. DeNA TechCon 2020 #denatechcon ✔ ✔ ✔ 5
9. ͜ͷं྆ʹͱͬͯ ࠷దͳ૸ߦܦ࿏͸Կ͔ʁ 9 • • • •
10. 10 々
13. • • !13 • •
14. ຊ൪؀ڥ • ਪ࿦ύΠϓϥΠϯ • Ϟσϧਫ਼౓؂ࢹ !14 ࣮ݧ؀ڥ • ෼ੳ/Ϟσϧ։ൃ • ࣮ݧ؅ཧ CI/CD • • • • 々
15. DeNA TechCon 2020 #denatechcon
    
16. !16 BigQuery 々
17. ࣮ݧ؀ڥ σʔλαΠΤϯςΟετ !17 BigQuery ୳ࡧతσʔλղੳ લॲཧ ֶश ਪ࿦ ධՁ
18. DeNA TechCon 2020 #denatechcon
    
19. DeNA TechCon 2020 #denatechcon ※
    
20. DeNA TechCon 2020 #denatechcon ※
    
21. DeNA TechCon 2020 #denatechcon
    
22. DeNA TechCon 2020 #denatechcon ※ ？
    
23. DeNA TechCon 2020 #denatechcon ？
    
24. DeNA TechCon 2020 #denatechcon 々 々 → 々
    
25. DeNA TechCon 2020 #denatechcon ※ #JH2VFSZ
    
26. !26 ※
27. !27 - ⇒ - - -
28. DeNA TechCon 2020 #denatechcon
    
29. !29 CI/CD 
 々
30. !30 CI/CD 
 々 々
31. DeNA TechCon 2020 #denatechcon 々
    
32. DeNA TechCon 2020 #denatechcon 々 ※ "*
    1MBUGPSN
    
33. !33
34. 々 - - - !34
35. DeNA TechCon 2020 #denatechcon
    
36. • ※ ⇒ 
 ※ • 
 → ※ !36
37. DeNA TechCon 2020 #denatechcon ͔͜͜Βޙ൒
    
38. DeNA TechCon 2020 #denatechcon
    
39. DeNA TechCon 2020 #denatechcon 々※
    
40. DeNA TechCon 2020 #denatechcon
    
41. DeNA TechCon 2020 #denatechcon M ! ’›®lROgňǐkYi々  @ ûÂIJ_jmąƀŰ¯=„z?`ÍÌŰ¯^]=é©é\ęÐaŰ¯Qm @ ƈœĪ`ēÑøħůÄ_jmŐƉ`ąƀÛ ġŁǐƢǜ ƔŁǐƢǜ   ijŨƿç  Map data ©2019 Google
42. DeNA TechCon 2020 #denatechcon 々
    
43. DeNA TechCon 2020 #denatechcon
    
44. DeNA TechCon 2020 #denatechcon 々 AI Platform Training BigQuery
    
45. DeNA TechCon 2020 #denatechcon
    
    ($3
    
    ,VCFGMPX
    1JQFMJOF 々
     4JNVMBUJPO 3VOOFS
    *NBHF 1SFEJDUPS
    *NBHF
    $PNQPTFS 1SPGJMF
    4JNVMBUPS
    %BUB 5SBJO #BUDI
    1SFEJDUJPO 1SFQSPDFTT #VJME #JH2VFSZ
    
    ($4
46. DeNA TechCon 2020 #denatechcon
    
    
    ($3 1SPEVDUJPO
    "1* 3PVUF
    "1* 1SFEJDUPS
    *NBHF
    $PNQPTFS 1SFEJDUJPO 1SFQSPDFTT #JH2VFSZ
    
    ($4
47. DeNA TechCon 2020 #denatechcon
    
48. DeNA TechCon 2020 #denatechcon
    
49. DeNA TechCon 2020 #denatechcon 々 々 々 々 々 々
    
50. DeNA TechCon 2020 #denatechcon 々 々 々 々 々 々 ？
    
51. DeNA TechCon 2020 #denatechcon 々 々 々 々 々 々
    
52. DeNA TechCon 2020 #denatechcon ※ 々 々
    
53. DeNA TechCon 2020 #denatechcon ※ 々
    
54. DeNA TechCon 2020 #denatechcon def task_fail_slack_alert(context): slack_msg = “Task Failed.” failed_alert = SlackWebhookOperator( task_id="xxx", http_conn_id="slack", webhook_token=Variable.get("webhook.token"), message=slack_msg, username="airflow", ) return failed_alert.execute(context=context)
    
55. DeNA TechCon 2020 #denatechcon <!subteam^ABCDEF123|@user_group>
    
56. DeNA TechCon 2020 #denatechcon 々 々 々 々 々 々
    
57. DeNA TechCon 2020 #denatechcon 々
    
58. DeNA TechCon 2020 #denatechcon ※
    
59. DeNA TechCon 2020 #denatechcon
    
60. DeNA TechCon 2020 #denatechcon
    
61. DeNA TechCon 2020 #denatechcon
    
62. DeNA TechCon 2020 #denatechcon 々 々
    
63. DeNA TechCon 2020 #denatechcon 々
    
64. DeNA TechCon 2020 #denatechcon
    
65. DeNA TechCon 2020 #denatechcon 々
    
66. DeNA TechCon 2020 #denatechcon ※
    
67. DeNA TechCon 2020 #denatechcon → 々
    
68. DeNA TechCon 2020 #denatechcon 々
    
69. DeNA TechCon 2020 #denatechcon ※ @pytest.fixture(scope="session", autouse=True) def setup_teardown(request, test_config): # setup # ͜͜ʹࡉʑͱͨ͠ॲཧ suffix = uuid.uuid4() create_dataset(suffix) yield # teardown # ͜͜ʹࡉʑͱͨ͠ॲཧ delete_blobs(suffix) delete_dataset(suffix)
    
70. DeNA TechCon 2020 #denatechcon @pytest.mark.dependency(depends=[“test_preprocess_a”, “test_preprocess_b”]) def test_trainer(test_config): trainer = Trainer( test_config[“xxx”].format(test_config[“hash"]), test_config[“yyy”].format(test_config[“hash"]), ) trainer.train() trainer.upload_model()
    
71. DeNA TechCon 2020 #denatechcon →
    
72. DeNA TechCon 2020 #denatechcon 々 →
    
73. • ＝ • ＝ • !73
74. DeNA TechCon 2020