MLOps for Core ML #iOSDC 2022

iOSDC 2022での発表です。

---

■ 概要（CfP）

MLOpsはML Operationsの略で、データ収集・前処理・学習・デプロイ・監視といった機械学習のライフサイクルの継続的な運用を効率化するための考え方や手法を総称してこう呼ばれています。たとえば、蓄積したデータを用いたモデルの再学習を定期的に自動実行し最新データに合うようモデルを改善し続ける仕組み、モデルを本番システムに自動デプロイする仕組み等が含まれます。機械学習をビジネスで本番運用するために不可欠な考え方として昨今ホットなトピックとなっています。

一方で、Core MLモデルの世界ではMLOpsという考え方はまだそれほど広がっていないように思います。多くの場合は一度学習したモデルを利用し続けるか、手運用で再学習等を行っているのではないでしょうか。Core MLにMLOpsの考え方を導入しするとどのように継続的な運用を効率化できるのか、そのパターンを解説します。

------------------------------------------------------------

■ 関連書籍

・「Core ML Tools実践入門 - iOS × DEEP LEARNING」
https://booth.pm/ja/items/1723495

・「Metal入門」
https://booth.pm/ja/items/826318

------------------------------------------------------------

■ その他関連リンク

・本トークの動画
https://youtu.be/hxSzBXtNmWc

・堤のTwitter
https://twitter.com/shu223

Transcript

1. MLOps for Core ML
2. ࣗݾ঺հ • అमҰ • shu223 ʢGitHub / Twitter / noteʣ • ΤϯδχΞͱਓੜʢYouTube / Podcast / ίϛϡχςΟʣ
3. iOSΤϯδχΞ@ϑϦʔϥϯε → R&DϚωʔδϟʔ@Sansan هࣄɿ 12೥ؒiOS͚ͩ΍͖ͬͯͨΤϯδ χΞͷΩϟϦΞνΣϯδ
4. ஶॻ • ঎ۀग़൛ 4࡭ɿʮiOS×BLE Core Bluetoothϓϩάϥϛϯάʯ ଞ • ݸਓग़൛ ଟ਺ @BOOTH • Metal, ARKit, σϓε, coremltools, etc...
5. iOSDCͷաڈͷొஃ • 2016: ւ֎ΧϯϑΝϨϯεʹొஃ͢Δ • 2017: ඈͼಓ۩Ͱ͸ͳ͍Metal • 2018: Depth in Depth • 2019: ࠓͦ͜watchOS • 2020: ػցֶशͷϒϧʔΦʔγϟϯ Core ML
6. MLOpsͱ͸ • Machine Learning Operationsͷུ • DevOpsͷML൛
7. MLOpsͷఆٛ ΢ΟΩϖσΟΞͷMLOpsͷ߲ɿ
8. • ఆٛ͸֤༷ࣾʑ • ख๏ɺํ๏࿦ɺγεςϜɺج൫ɺମ੍ɺ࢟੎ɺߟ͑ํɺจ Խɺ֓೦ɺetc...
9. ػցֶशΛ࣮ઓ౤ೖ͢Δࡍʹ ͍͍ײ͡ʹӡ༻ ͍ͯͨ͘͠Ίͷॾʑ
10. MLOpsͷྫɿ ϞσϧͷܧଓతτϨʔχϯά
11. ֶशύΠϓϥΠϯ • ֤εςοϓͷ࣮ߦ΋ɺεςοϓؒͷҠߦ΋ࣗಈԽ • → ࣮ݧΛਝ଎ʹ܁Γฦ͢͜ͱ͕Մೳʹ
12. ύΠϓϥΠϯ࣮ߦΛࣗಈԽ ՝୊ɿ ࣌ؒͱͱ΋ʹϞσϧͷਪ࿦ਫ਼౓͕ྼԽ • → ύΠϓϥΠϯ࣮ߦΛࣗಈԽ • ਫ਼౓Λ؂ࢹͯ͠τϦΨʔ࣮ߦ • όονʹΑΔఆظ࣮ߦ • ϞσϧͷܧଓతτϨʔχϯά / Continuous TrainingʢCTʣ
13. ͦͷଞͷMLOpsͷྫ • DVC (Data Version Control) • Feature Store • Model Registry • ࣮ݧ؅ཧ • CI/CD • etc...
14. MLOps "for Core ML"
15. ͦ΋ͦ΋Core MLͱ͸ʁ ΦϯσόΠεͰਪ࿦ɾֶशΛߦ͏ػցֶशϑϨʔϜϫʔΫ
16. AppleσόΠεͷੑೳΛ࠷΋ ׆͔ͤΔͷ͸Core ML • PyTorch MobileʢLibTorchʣ -> CPU • Tensor Flow Lite -> CPU, GPU • Core ML -> CPU, GPU, Neural Engine
17. Core MLͷֶशϦιʔε ʮ ػցֶशͷϒϧʔΦʔγϟϯ Core ML ʯ • iOSDC 2020Ͱͷൃද • CoreML.framework͚ͩͰ͸ͳ͘ɺ Core MLΛ࣮຿Ͱѻ͏ͨΊʹඞཁͳ ٕज़ྖҬશମʹ͍ͭͯղઆ
18. ࣮ϓϩμΫτʹ͓͚ΔCore ML
19. TensorFlowϞσϧ͔Β Core MLϞσϧʹม׵ • → ໿300%ͷߴ଎Խ ! ʢ18fps -> 55fpsʣ
20. Core MLͷੈքͰ͸MLOpsͷߟ͑ํ͸·ͩ޿ ͕͍ͬͯͳ͍ • Ұ౓ֶशͨ͠ϞσϧΛར༻͠ଓ͚Δ • Ϟσϧͷֶशɾม׵͸खӡ༻
21. Core MLϞσϧӡ༻ʹMLOpsతߟ͑ํΛಋೖ Ͱ͖ͳ͍͔ʁ Core MLͷ͞·͟·ͳػೳ΍ɺMLOpsπʔϧΛར༻ͯ͠ɺ "MLOps for Core ML"ͷύλʔϯΛݕ౼ͯ͠Έ·͢ɻ1 1 ͔͜͜Β͸ࢲݸਓͷݕ౼Ͱ͢ɻॴଐ͢ΔاۀͰͷऔΓ૊ΈͰ͸͋Γ·ͤΜɻ
22. ύλʔϯ1: ֶशύΠϓϥΠϯ
23. ֶशύΠϓϥΠϯ + Core MLϞσϧͷม׵ σʔλͷऔಘʙϞσϧͷֶशʙධՁʙCore MLϞσϧ΁ͷม׵ ͷϑϩʔΛύΠϓϥΠϯԽ
24. ύΠϓϥΠϯԽͷϝϦοτ • ֤εςοϓͷॲཧ΋εςοϓؒͷҠߦ΋ࣗಈ࣮ߦ • ΠςϨʔγϣϯ͕ਝ଎ʹͳΔ • Ϟσϧͷܧଓతͳߋ৽ʢCTʣ • ֤εςοϓΛݸผͷϦιʔεʢαʔόɺίϯςφɺϫʔΧʔ ౳ʣʹ෼ׂͰ͖Δ • εςοϓؒͷґଘΛϑΝΠϧೖग़ྗʹ੍ݶ͢Δ͜ͱͰɺε ςοϓ୯ҐͰ։ൃɾςετͰ͖Δ
25. Core MLϞσϧͷ࡞੒ϑϩʔ ͜ͷϑϩʔΛύΠϓϥΠϯԽ͠·͢ɻ
26. MLflow An open source platform for the machine learning lifecycle • 12.5k Stars • ϩʔΧϧ؀ڥͰܰྔʹར༻Ͱ͖Δ
27. MLflowΛ༻ֶ͍ͨश ύΠϓϥΠϯ ϓϩδΣΫτͷϑΝΠϧߏ੒ Project ├─ MLproject ├─ conda.yaml ├─ main.py │ ├─ preprocess │ ├─ MLproject │ └─ src │ ├─ preprocess.py │ └─ ... ├─ train │ ├─ MLproject │ └─ src │ ├─ train.py │ └─ ... └─ evaluate ├─ MLproject └─ src ├─ evaluate.py └─ ...
28. MLproject ϑΝΠϧʢτοϓϑΥϧμ / main Ϟδϡʔϧ࣮ ߦʣ name: my_project conda_env: conda.yaml entry_points: main: parameters: epochs: {type: int, default: 1} batch_size: {type: int, default: 32} learning_rate: {type: float, default: 0.001} command: | python -m main \ --epochs {epochs} \ --batch_size {batch_size} \ --learning_rate {learning_rate}
29. MLproject ϑΝΠϧʢtrain εςοϓ / train Ϟδϡʔϧ࣮ ߦʣ name: my_project conda_env: ../conda.yaml entry_points: train: parameters: epochs: {type: int, default: 1} batch_size: {type: int, default: 32} learning_rate: {type: float, default: 0.001} command: | python -m src.train \ --epochs {epochs} \ --batch_size {batch_size} \ --learning_rate {learning_rate}
30. conda.yaml name: my_project channels: - defaults dependencies: - python=3.8 - ... - torchvision>=0.8.1 - pip - pip: - torch==1.10.2 - mlflow - ...
31. Pythonίʔυ τοϓϑΥϧμ/main.py def main(): ... with mlflow.start_run() as r: preprocess_run = mlflow.run( uri="./preprocess", entry_point="preprocess", backend="local", ) ... train_run = mlflow.run( uri="./train", entry_point="train", backend="local", parameters={ "epochs": args.epochs, "batch_size": ..., "learning_rate": ..., }, ) ...
32. ʮCore MLϞσϧ΁ͷม׵ʯ εςοϓΛ௥Ճ͢Δ • convertϑΥϧμΛ௥Ճ • MLproject • convert.py • ... Project ├─ MLproject ├─ conda.yaml ├─ main.py │ ├─ preprocess │ ├─ MLproject │ └─ ... ├─ train │ ├─ MLproject │ └─ ... ... │ └─ convert ├─ MLproject └─ src ├─ convert.py └─ ...
33. convert/MLproject name: my_project conda_env: ../conda.yaml entry_points: convert: parameters: upstream: {type: string, default: ""} downstream: {type: string, default: ""} command: | python -m src.convert \ --upstream {upstream} \ --downstream {downstream}
34. convert.py ... import mlflow import torch import coremltools as ct def main( upstream_directory: str, downstream_directory: str ): ... # PyTorchϞσϧʢ.pthʣΛϩʔυ model.load_state_dict(torch.load(model_path)) ... # Core MLϞσϧʹม׵ mlmodel = ct.convert(traced_model, ...) # อଘ mlmodel.save(mlmodel_file_path) ...
35. conda.yaml ʹ coremltools Λ௥Ճ name: my_project channels: - defaults dependencies: - python=3.8 - ... - torchvision>=0.8.1 - pip - pip: - torch==1.10.2 - coremltools==5.2.0 - mlflow - ...
36. ύΠϓϥΠϯ࣮ߦ $ mlflow run .
37. σϞ
38. ύλʔϯ2: ࣮ݧ؅ཧ
39. Ϟσϧ࡞੒࣌ͷϖΠϯ • ͲΜͳύϥϝʔλͰ࣮ߦ͔ͨ͠ʁ • ͲͷσʔλΛ࢖༻͔ͨ͠ʁ • ͲΜͳ݁Ռ͔ͩͬͨʁ • ͦΕΒͷ৚݅Ͱ࡞੒ͨ͠Ϟσϧ͸ͲΕʁ → ࣮ݧ؅ཧ
40. MLflowͰ࣮ݧ؅ཧ • log_param(s) ɾɾɾύϥϝʔλΛه࿥ • log_metric(s) ɾɾɾϝτϦΫεΛه࿥ • log_artifact(s) ɾɾɾΞʔςΟϑΝΫτʢੜ੒෺ʣΛه࿥ • log_model ɾɾɾϞσϧΛه࿥
41. MLflow UI 1/3
42. MLflow UI 2/3 • ֤࣮ݧͷύϥϝʔλɺϝτϦΫεɺϞσϧΛUIͰ֬ೝͰ͖Δ • ϝτϦΫεͷมԽΛάϥϑදࣔ
43. MLflow UI 3/3 • ΞʔςΟϑΝΫτʢੜ੒෺ʣ΁ͷΞΫηε΋ఏڙ
44. ύλʔϯ3: ࣮ػͰͷ৽Ϟσϧͷݕূ
45. ςελʔʹ͚ͩ৽ϞσϧΛ഑෍͢Δ έʔεɿ ৽Ϟσϧͷݕূͱͯ͠ɺεςʔδϯά൛ΞϓϦΛ͍࣋ͬͯΔς ελʔʹ৽ϞσϧΛ഑෍͍ͨ͠ɻ ʢϦϦʔε൛Ϣʔβʔʹ͸·ͩ഑෍͠ͳ͍ɻʣ
46. Ϋϥ΢υܦ༝ͰϞσϧΛߋ৽ Core ML Model Deployment • ΞϓϦଆͷߋ৽ෆཁͰ ϞσϧΛߋ৽Ͱ͖Δ
47. ࣄલ४උ • [iCloud] εςʔδϯά༻ͱϦϦʔε༻ͰผʑͷModel CollectionΛ༻ҙ͓ͯ͘͠ • [App] εςʔδϯάʗϦϦʔεϏϧυͰར༻͢ΔModel CollectionΛ෼͚ΔΑ͏࣮૷ • ߋ৽͞ΕͨΒ௨஌͕ಧ͘Α͏ʹ͓ͯ͘͠ • [App] ςελʔʹεςʔδϯά൛ΛTestFlightͰ഑෍
48. ৽Ϟσϧݕূ࣌ • [iCloud] εςʔδϯά༻ͷModel Collectionʹ৽ϞσϧΛొ ࿥ ↓ • εςʔδϯά൛ΞϓϦʹ௨஌͕ಧ͘ • ΞϓϦΛىಈ͢ΔͱϞσϧ͕ߋ৽͞ΕΔ
49. ͦͷଞɺ࣮ݱͰ͖ͦ͏ͳʮMLOps for Core MLʯͷΞΠσΞ • Create MLʹΑΔϞσϧ࡞੒ϑϩʔͷࣗಈԽʗ࣮ݧ؅ཧ • ֶशʙม׵ʙσϓϩΠʢ৽Core MLϞσϧΛ૊ΈࠐΜͩΞϓ Ϧͷ഑෍ʣͷϑϩʔΛࣗಈԽ • Xcode 14ͷύϑΥʔϚϯεϨϙʔτ΍InstrumentsͰಘΒΕ ͨϝτϦΫεͷ؅ཧ • ΦϯσόΠεͰֶशͨ͠ personalized Ϟσϧͱಛ௃ྔͷ؅ཧ • etc...
50. ·ͱΊ Core MLϞσϧӡ༻ʹMLOpsతߟ͑ํΛಋೖͰ͖ͳ͍͔ݕ౼͠ ͯΈ·ͨ͠ɻ - ύΠϓϥΠϯԽ - ࣮ݧ؅ཧ - ࣮ػͰͷ৽Ϟσϧݕূ
51. coremltoolsʹ͍ͭͯ ΋ͬͱֶͿ • ެࣜϦϙδτϦͷαϯϓϧ • ެࣜυΩϡϝϯτ • ॻ੶ʮCore ML Tools࣮ફ ೖ໳ʯ • ٯҾ͖Ϩγϐ͖ͭ Core ML Tools iOS × Deep Learning TensorFlow, Kerasͱ coremltools ʹΑΔΧελϜϞσϧߏங ࣮ફೖ໳
52. iOSͷGPU/Metalʹ ֶ͍ͭͯͿ • εϥΠυʮඈͼಓ۩Ͱ͸ͳ ͍Metalʯ ʢiOSDC 2017ʣ • ॻ੶ʮMetalೖ໳ʯ
54. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ
55. ิ଍
56. MLproject ϑΝΠϧʢdocker_envΛࢦఆʣ name: my_project docker_env: image: xxxx:xxxx volumes: ["...", "..."] entry_points: preprocess: parameters: ... command: | python -m src.preprocess \ ...
57. MLproject ϑΝΠϧʢDocker ΠϝʔδͷϏϧυΛߦ͏৔߹ʣ name: my_project conda_env: conda.yaml entry_points: build: parameters: model_filename: {type: string, default: xxxx.onnx} model_directory: {type: string, default: ./mlruns/0/xxxx} command: | cp ../{model_directory}/{model_filename} ./ && \ docker build \ -t "xxxx:xxxx" \ -f ./Dockerfile \ --build-arg model_filename={model_filename} \ --build-arg model_directory={model_directory} \ .
58. MLproject ϑΝΠϧʢϏϧυͨ͠Docker ΠϝʔδΛར༻ʣ name: my_project conda_env: conda.yaml entry_points: evaluate: parameters: ... dockerimage: {type: string, default: "xxxx:xxxx"} container_name: {type: string, default: test} command: | docker run \ -it -d \ --name {container_name} \ -p xxxx:xx {dockerimage} && \ python -m src.evaluate \ ...