ローカルLLM on iOS の現状まとめ

「Mobile勉強会 Wantedly × チームラボ × Sansan #13」での発表資料です。

発表動画：
https://youtu.be/yyYVFpxbO1Q

Transcript

1. ϩʔΧϧLLM on iOS ͷݱঢ়·ͱΊ అ मҰʢ@shu223ʣ
2. ࣗݾ঺հ • అ मҰ • @shu223 (GitHub, Qiita, Zenn, note, 𝕏, YouTube, Podcast, etc...) • ॻ੶ʢ঎ۀग़൛4࡭ɺݸਓग़൛ଟ਺ @BOOTHʣ:
3. ຊ೔ͷΞδΣϯμ • iOSΦϯσόΠεͰLLMΛಈ͔͢ํ๏ • ࣗ෼ͷΞϓϦʹ૊ΈࠐΉ • ݱঢ়ͱࠓޙͷల๬
4. ༻ޠઆ໌ • ʲLLMʳ: Large Language Models / େن໛ݴޠϞσϧ • ʲϩʔΧϧLLMʳ: ϩʔΧϧ؀ڥͰಈ͘LLM • ʲΦϯσόΠεॲཧʳ: ॲཧ͕σόΠε಺෦Ͱ׬͍݁ͯ͠Δ ʢΫϥ΢υ΍֎෦αʔόʔʹґଘ͠ͳ͍ʣ
5. ϩʔΧϧLLM on iOS • ΦϯσόΠεͰॲཧͯ͠·͢ • API͸ୟ͍͍ͯ·ͤΜ • iPhone 15 Pro࢖༻ • ഒ଎࠶ੜ͍ͯ͠·ͤΜ • 8.6 tokens/sec
6. ϩʔΧϧLLMͷϝϦοτ • ΦϑϥΠϯͰ΋ಈ͘ • ϓϥΠόγʔ͕कΒΕΔʢσʔλ͕Ͳ͜ʹ΋Ξοϓ͞Εͳ ͍ʣ • ͲΕ͚ͩ࢖ͬͯ΋ແྉ ϞόΠϧ୺຤ελϯυΞϩʔϯͰ࠷ઌ୺ͷػೳ͕ಈ࡞͢Δ͜ͱ ʹ͸ৗʹϩϚϯ͕͋Δ
7. iOSΦϯσόΠεͰLLM Λಈ͔͢ํ๏
8. iOSͰϩʔΧϧLLMΛಈ͔͢ํ๏ େ͖͘෼͚ͯ2ͭ • llama.cpp • Core ML
9. iOSͰϩʔΧϧLLMΛಈ͔͢ํ๏ େ͖͘෼͚ͯ2ͭ • llama.cpp • Core ML
10. llama.cpp • LLM͕ߴ଎ʹಈ͘ϥϯλΠϜ • C/C++੡ • Georgi Gerganov (GG) ͞Μ͕։ൃ • GGML → GGUFϑΥʔϚοτ
11. llama.cpp ͱ Apple Silicon • Apple Silicon޲͚ʹ͸ARM NEONɺAccelerateɺMetalϑ ϨʔϜϫʔΫͰ࠷దԽ • ʮϩʔΧϧLLMΛಈ͔ͤΔmacOSΞϓϦʯͷଟ͕͘ llama.cppΛ಺෦Ͱར༻ • Ollama, LM Studio, LLMFarm, etc... • GGUFϑΥʔϚοτͷϞσϧΛ࢖༻͢Δ
12. llama.cpp ͱ iOS • "Apple Slicon޲͚࠷దԽ" ͸MγϦʔζ͚ͩͰͳ͘ɺiPhone ͷAγϦʔζ΋ର৅
13. iOSͰϩʔΧϧLLMΛಈ͔͢ํ๏ େ͖͘෼͚ͯ2ͭ • llama.cpp • Core ML
14. Core MLͱ͸ • ػցֶशϞσϧΛiOS, macOS, etc. ʹ૊ΈࠐΉͨΊͷApple ੡ͷϑϨʔϜϫʔΫ, ϞσϧϑΥʔϚοτ • CPUɾGPUɾNeural EngineΛར༻͠ɺϝϞϦ઎༗ྔͱిྗ ফඅྔΛ࠷খݶʹ཈͑ͭͭύϑΥʔϚϯεΛ࠷େݶʹߴΊΔ Α͏ʹઃܭ͞Ε͍ͯΔ
15. Neural Engine͸API͕ͳ͍ • Core MLΛར༻ͨ͠৔߹ͷΈNeural EngineΛར༻Ͱ͖Δ • → Apple SilliconʢiPhoneͷAγϦʔζ΋ؚΉʣͷੑೳΛ࠷΋ ׆͔ͤΔͷ͸Core MLʂ
16. Core ML vs llama.cpp • Neural Engine Λ׆͔ͤΔ෼ɺCore ML͕༗རʁ
17. !
18. LLMϞσϧΛCore MLʹม׵͢Δํ๏ • coremltoolsΛ࢖͏ • ೉͍͠ʢྫɿcoremltoolsΛ༻͍ͨCore MLϞσϧ΁ͷม ׵ - Sansan Tech Blog ʣ • Hugging Face͕ެ։͍ͯ͠Δม׵πʔϧ exporters Λ࢖͏
19. ! exporters • TransformersϞσϧΛCore MLʹม׵͢Δπʔϧ • coremltoolsΛϥοϓͨ͠΋ͷͰ͸͋Δ͕ɺม׵ʹ൐͏ ৭ʑͳ໰୊ΛπʔϧଆͰٵऩͯ͘͠Ε͍ͯΔ • ཁ͸͜ͷπʔϧΛ࢖͑͹coremltoolsΛͦͷ··࢖͏ΑΓ ΋؆୯ʹTransformersϞσϧΛCore MLϞσϧʹม׵Ͱ͖ Δ
20. ʢิ଍ࢿྉʣ ! exporters ͷ࢖͍ํ • هࣄɿ TransformersϞσϧΛCore MLʹม׵͢Δπʔϧ exporters Λࢼ͢ • LLMϞσϧΛCore MLʹม׵͢Δ͜ͱʹ͸੒ޭ
21. ʢ௕͘ͳ͖ͬͯͨͷͰதུʣ ͜ͷྲྀΕͰݴ͍͍ͨ͜ͱɿ Core MLϞσϧ΁ͷม׵πʔϧ͸͋ Δ͕ɺม׵ࡁΈϞσϧ͸΄ͱΜͲެ։͞Ε͓ͯΒͣɺྔࢠԽ౳ ࣗ෼Ͱ৭ʑ͕Μ͹Δඞཁ͕͋Δ
22. llama.cpp ޲͚ͷϞσϧ͸Ͳ ͏͔ʁ ΄ͱΜͲͷϩʔΧϧLLM͕৭ʑͳύλʔ ϯͰྔࢠԽ͞ΕGGUFϑΥʔϚοτͰެ ։͞Ε͍ͯΔʢTheBloke ͕༗໊ʣ
23. Core ML vs llama.cpp • Neural Engine Λ׆͔ͤΔ෼ɺCore ML͕༗རʁ • ֤छϩʔΧϧLLMΛʮ͙͢ʹࢼͤΔʯ఺Ͱ͸ѹ౗తʹ llama.cpp
24. ͜͜·Ͱͷ·ͱΊ • iOSͰϩʔΧϧLLMΛಈ͔͢खஈͱͯ͠͸llama.cppͱCore ML͕͋Δ • ͲͪΒ΋Apple Siliconʹ࠷దԽ͞Ε͍ͯΔ͕ɺNeural EngineΛ׆͔ͤΔͷ͸Core MLͷΈ • llama.cpp͸ྔࢠԽࡁΈɾม׵ࡁΈͷϞσϧͷબ୒ࢶ͕๛෋ ʹ͋Δ
25. ࣗ෼ͷΞϓϦʹ૊ΈࠐΉ
26. llama.cpp • खܰʹΞϓϦʹ૊ΈࠐΊΔΑ͏ʹຊՈϦϙδτϦʹSwift Package͕༻ҙ͞Ε͍ͯΔ • ͦͷSwift Packageͷ࢖͍ํΛࣔ͢αϯϓϧ΋ಉϦϙδτϦʹ ༻ҙ͞Ε͍ͯΔ • examples/llama.swiftui
27. Core ML • ! exporters Ͱม׵ͨ͠Core MLϞσϧΛΞϓϦͰಈ͔ͨ͢ ΊͷϥούʔϥΠϒϥϦͱͯ͠ swift-transformers ͱ͍͏ Swift Package͕༻ҙ͞Ε͍ͯΔ • ͦͷαϯϓϧΞϓϦ΋ެ։͞Ε͍ͯΔ
28. iOSΦϯσόΠεͰಈ͘ LLMϞσϧͷݱঢ়
29. Ϟσϧͷ୳͠ํ • Hugging Face HubͰ୳͢ʢGGUF / Core MLʣ • LLMFarm ͷ͜͜ ɾɾɾಈ࡞ݕূࡁΈϞσϧ͕αΠζͱڞʹ ϦετΞοϓ͞Ε͍ͯΔ • llama.cpp ͷ README ͷ "Supported models" ΍ɺ͜ ͜ɾɾɾ֤छϞσϧͷiPhoneͰͷϕϯνϚʔΫ
30. ࢼͯ͠ΈͨϞσϧͷྫ • Mistral 7B v0.1 ʢൺֱతখ͞ͳαΠζͰ༏लʣ • Q3_K_S (3.16GB) • Q4_K_S (4.14GB) • Calm 2 7B Chat ʢ೔ຊޠLLMʣ • Q3_K_S (3.47GB) • Q4_K_S (3.12GB) • Q4_K_M (3.47GB)ɾɾɾiPhone 15 ProͰΫϥογϡ
31. σϞ
32. Mistral 7B v0.1 • Q4_K_S • 4-bitྔࢠԽ • 4.14GB • ϩʔσΟϯά ໿15ඵ • ςΩετੜ੒଎౓ 8.66 t/s
33. Calm2 7B Chat • Q3_K_S • 3-bitྔࢠԽ • 3.12GB • ϩʔσΟϯά ໿25ඵ • ςΩετੜ੒଎౓ 1.89 t/s
34. ݱঢ়ͷॴײ ʢ˞1,2ճࢼ͚ͨͩ͠ͷॴײͰ͢ʣ • ճ౴಺༰͸ ! • ਪ࿦଎౓΋ !
35. ͱ͸͍͑
36. ݱঢ়Ͱ͸ϓϩμΫτͰͷ࣮༻͸ݫͦ͠͏ • αΠζͷ໰୊ɿ 3-bit or 4-bit ྔࢠԽͨ͠ϞσϧͰ΋3GBʙ • ΞϓϦʹ૊ΈࠐΉΘ͚ʹ͸͍͔ͳ͍ʗϢʔβʔʹμ΢ϯϩ ʔυͤ͞ΔΘ͚ʹ΋͍͔ͳ͍ • ॲཧ଎౓ͷ໰୊ɿ Ϟσϧͷϩʔυʹ͕͔͔࣌ؒΔʗਪ࿦଎౓ ΋·ͩݫ͍͠ → APIΛୟ͍ͨํ͕଎͍ • ࢖༻ϝϞϦྔͷ໰୊ɿ ਺GBඞཁ
37. ࠓޙͷల๬
38. ϫΫϫΫ͔͠ͳ͍ • Ϟσϧੑೳɿ ΑΓগͳ͍ύϥϝʔλ਺ͰߴੑೳͳϞσϧ͕ ೔ʑੜ·Ε͍ͯΔ • ྔࢠԽख๏ɿ ೥ʑਐԽɺBitNetͳΔ΋ͷ΋ొ৔ • σόΠεੑೳɿ ϝϞϦ༰ྔ΋GPUɾNeural Engineͷੑೳ΋ ೥ʑਐԽ • ม׵ࡁΈϞσϧͷଟ༷ੑɾɾɾCore MLม׵ࡁΈͷLLM΋ॆ ࣮ͯ͘͠Δʢ͸ͣʣ
39. ΦϯσόΠεͰLLM͕αΫαΫಈ͘೔΋͍ۙʂ
40. Wrap up • iOSͰϩʔΧϧLLMΛಈ͔͢खஈ͸େ͖͘2௨Γ • llama.cppɿ ྔࢠԽࡁΈɾม׵ࡁΈϞσϧͷબ୒ࢶ͕๛෋ • Core MLɿ Neural Engine࢖͏ • iOSσόΠεͰಈ͔͢ʹ͸ʮݱঢ়Ͱ͸ʯσΧ͗͢Δ͠ॏ͗͢ Δ • ͕ɺେ͍ʹر๬͸͋Δʂ
41. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ