WhisperKit がだいぶ良いので紹介する

SansanモバイルエンジニアLT会 & 懇親会での発表資料です。
https://sansan.connpass.com/event/312187/

記事： iOS/macOSオンデバイスで爆速で動作する音声認識モデルWhisperKit - Sansan Tech Blog

Transcript

1. WhisperKit ͕͍ͩͿྑ͍ͷͰ঺հ͢Δ అ मҰ ʢ@shu223ʣ
2. ࣗݾ঺հ • అ मҰ • @shu223 (GitHub, Qiita, Zenn, note, 𝕏, YouTube, Podcast, etc...) • ॻ੶ʢ঎ۀग़൛4࡭ɺݸਓग़൛ଟ਺ @BOOTHʣ:
3. ΞδΣϯμ • WhisperKitͱ͸ • ͳͥ଎͍ͷ͔ • ϞσϧαΠζɾϝϞϦ࢖༻ྔ • more
4. WhisperKit ͱ͸
5. iOS/macOSΦϯσόΠεͰಈ͘Ի੠ೝࣝͷ͍͢͝΍ͭ • ଎͍ • ਫ਼౓΋ྑ͍ • ଟݴޠରԠʢؚɾ೔ຊޠʣ • Φʔϓϯιʔε • ΞϓϦ΁ͷ૊ΈࠐΈํ๏
6. ඪ४ͷԻ੠ೝࣝϑϨʔϜϫʔΫSpeechͱͷൺֱ • WhisperKit • Speech
7. ͳͥ଎͍ͷ͔
8. ܥේɿ OpenAI Whisper • OpenAIʹΑͬͯ։ൃ͞ΕͨԻ੠ೝࣝϞσϧ • ਫ਼౓ͱύϑΥʔϚϯεɺͦͯ͠ΦʔϓϯιʔεͰ͋Δ͜ͱ͔ Βར༻͕Ұؾʹ޿͕ͬͨ
9. ܥේɿ whisper.cpp • Whisperͷߴ଎ਪ࿦൛ • ֤छϓϥοτϑΥʔϜ΁ͷ࠷దԽ΋͞Ε͍ͯΔ • macOS/iOS޲͚ʹ͸Metal, Accelerate΋αϙʔτ • Core MLϞσϧ൛΋ 1 1 whisper.cppͷCore ML൛ΛM1 MacBook ProͰಈ͔͢
10. Core ML ͱ͸ • ػցֶशϞσϧΛiOS, macOS, etc. ʹ૊ΈࠐΉͨΊͷApple ੡ͷϑϨʔϜϫʔΫ, ϞσϧϑΥʔϚοτ • CPUɾGPUɾNeural Engine (ANE) Λར༻͠ɺϝϞϦ઎༗ྔ ͱిྗফඅྔΛ࠷খݶʹ཈͑ͭͭύϑΥʔϚϯεΛ࠷େݶʹ ߴΊΔΑ͏ʹઃܭ͞Ε͍ͯΔ
11. ܥේɿ whisper.cpp ͔Β WhisperKit΁ • whisper.cpp ͷ Core ML൛ΑΓ΋͞ΒʹAppleϋʔυ΢ΣΞ Λ׆͔͢Α͏ΧϦΧϦʹ࠷దԽ • ։ൃݩͷargmaxࣾ͸ Appleͷ ml-ane-transformers ͷ தͷਓ 2 ͷձࣾ • Core ML൛ whisper.cpp ΑΓ 1.86ഒʙ2.85ഒ ߴ଎ 3 3 ग़యɿ WhisperKit — Argmax 2 ͭ·Γͦ΋ͦ΋TransformerϞσϧΛCore MLͰ࠷దԽͯ͠iOS/macOSͰಈ͔ͤΔΑ͏ʹ͢ΔྲྀΕͷݩ૆ʹ͋ͨΔਓ
12. WhisperKit ͷϞσϧαΠζ WER File Size (MB) small.en 3.12 483 small 3.45 483 base.en 3.98 145 base 4.97 145 tiny.en 5.61 66 tiny 7.47 66 ʢग़యɿ https://huggingface.co/argmaxinc/whisperkit-coreml ʣ
13. ϝϞϦ࢖༻ྔ ࠷େͰ300MBະຬఔ౓ʢbaseϞσϧ࢖ ༻ʣ
14. ΞϓϦ΁ͷ૊ΈࠐΈํ๏ Swift PackageΛ࢖ͬͯ 2ߦ Ͱ࣮૷Մೳ let pipe = try? await WhisperKit() let transcription = try? await pipe!.transcribe(audioPath: path)?.text
15. more
16. Swift CLI • Πϯετʔϧ brew install whisperkit-cli • ࣮ߦ swift run whisperkit-cli transcribe --model-path "foo" --audio-path "bar"
17. ม׵πʔϧɿ whisperkittools • PyTorchͷWhisperϞσϧΛWhisperKit޲͚ʹม׵͢ΔͨΊͷ Pythonπʔϧ • ࣗલͷWhisperϞσϧΛWhisperKitϑΥʔϚοτʹม׵Ͱ͖ Δ
18. ৄ͍ٕ͠ज़ղઆهࣄ WhisperKit — Argmax
19. ·ͱΊ Core ML൛WhisperͰ͋ΔWhisperKitΛ঺հͨ͠ • ଎౓Α͠ɺਫ਼౓Α͠ • ଟݴޠରԠʢؚɾ೔ຊޠʣ • Φʔϓϯιʔεʗม׵πʔϧ΋ެ։ • 㱺 ࣗલϞσϧ΋ར༻Մೳ • Swift PackageͰ؆୯ʹ࣮૷Մೳ
20. → iOSΦϯσόΠεԻ੠ೝࣝͷબ୒ࢶ ͱͯ͠࠷༗ྗީิͰ͸ʂ
21. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ