クラウド翻訳サービスはもう不要！？ オンデバイス翻訳 Translation API を使い倒そう

クラウド翻訳サービスはもう不要！？オンデバイス翻訳 Translation API を使い倒そう

SwiftUI と Translation API を活用し、クラウドに依存しないオンデバイス翻訳の可能性に挑戦！このスライドでは、translationPresentation や TranslationSession を使った翻訳アプリ開発の実践例とともに、オンデバイス翻訳の利点や課題について詳しく解説しています。

主なトピック
1. translationPresentation の登場
iOS 17.4 で導入された、わずか 1 行のコードで翻訳ポップオーバーを表示できる新しいモディファイア。デモコードを交え、便利な標準 UI と翻訳自動検出の魅力を紹介しています。

2. TranslationSession を MVVM で活用する方法
iOS 18 で実装可能になった TranslationSession を ViewModel に統合。効率的な翻訳処理とライフサイクル管理のコツを解説します。

3. Translation API の活用例
翻訳機のようなアプリ構築や、大量の文字列を効率的に翻訳する手法について議論。オフライン翻訳の可能性を引き出すための具体例を示しています。
紹介アプリ: ワンタップ通訳アプリ『One通（ワンツー）』(https://apps.apple.com/jp/app/id6670566421)

4. 開発Tips
- 言語モデルのダウンロード方法と注意点
- 翻訳モデルの自動削除に対処する方法
- translationTask を活用した柔軟な翻訳実行の実装例

5. watchOSやウィジェットでの利用可能性
翻訳機能の制約を分析し、将来的な可能性を模索。

まとめ
- translationPresentation はシンプルな実装で便利な UI を提供しますが、自由度が低い場面もあることを説明。
- 一方、TranslationSession は開発の自由度を大幅に高めるが、View と密接なライフサイクル管理が必要。
- Translation API を活用したアプリ開発の可能性を探りながら、現時点での制約も明らかにしています。

登壇イベント: Chiba.swift #2 (https://chibaswift.connpass.com/event/331925/)

Transcript

1. Ϋϥ΢υ຋༁αʔϏε͸΋͏ෆཁʂʁ ΦϯσόΠε຋༁ Translation API Λ࢖͍౗ͦ͏ Chiba.swift#2 12/6 LINEϠϑʔגࣜձࣾ Ԭຊ ཾଠ࿠
2. ໨࣍ 1. translationPresentation ͷొ৔ 2. TranslationSession Λ MVVM Ͱ࢖༻͢Δ 3. Translation API ͷ׆༻ྫ 4. Translation API ։ൃ Tips 5. watchOS, ΢ΟδΣοτͰ࢖͑Δʁ
3. 2024೥3݄ iOS17.4 ʹ৽نϞσΟϑΝΠΞ translationPresentation ͕௥Ճ
4. translationPresentation [Ҿ༻ݩ: ެࣜDoc]https://developer.apple.com/documentation/swiftui/view/translationpresentation(ispresented:text:attachmentanchor:arrowedge:replacementaction:)
5. translationPresentation ͷ࠷খ࣮૷ͱσϞ … [ެࣜDoc]https://developer.apple.com/documentation/swiftui/view/translationpresentation(ispresented:text:attachmentanchor:arrowedge:replacementaction:) var body: some View { VStack { TextField("຋༁ର৅", text: $sourceText) Button("຋༁͢Δ") { isPresented.toggle() } } .translationPresentation( isPresented: $isPresented, text: sourceText ) }
6. translationPresentation ͷಛ௃ • iOS 17.4 Ҏ্ • ࢦఆͨ͠จࣈྻΛ຋༁͢ΔϙοϓΦʔόʔΛදࣔ • ࣮૷͸࠷খͰΘ͔ͣ1ߦ • ຋༁ݴޠ͸ࣗಈݕग़ • ಡΈ্͛ɺίϐʔ౳͕Ͱ͖Δศརͳ UI ෇͖ • ΦϯσόΠεͰͷ຋༁ • ΦϑϥΠϯͰར༻Մೳ • ࢖͍์୊ Translation API ͷڧΈʂ
7. translationPresentation ͷ຋༁݁Ռऔಘ . VStack { TextField("຋༁ର৅", text: $sourceText) .textFieldStyle(RoundedBorderTextFieldStyle()) Button("຋༁͢Δ") { isPresented.toggle() } Text(targetText) } .translationPresentation( isPresented: $isPresented, text: sourceText, replacementAction: { translatedText in // [຋༁Ͱஔ͖ସ͑]λοϓ࣌ targetText = translatedText } )
8. Ϋϥ΢υ຋༁αʔϏεͷ ୅ΘΓʹͳΔͷͰ͸ʁ🤔 ͱظ଴͍ͯͨ͠ͷͰ͕͢…
9. translationPresentation ͷΫϥ΢υ຋༁αʔϏε୅ସͷ՝୊ • Ϣʔβ͕[຋༁Ͱஔ͖׵͑]ΛԡԼ͢Δඞཁ • ։ൃऀ͕λΠϛϯάΛࢦఆͰ͖ͳ͍ • ϙοϓΦʔόʔ΋ෳࡶͰ༠ಋ΋ࠔ೉ • ϙοϓΦʔόʔͷ౎౓ૢ࡞͕ඞཁ • ෳ਺ͷจࣈྻ຋༁͕Ͱ͖ͳ͍ • ࿈ଓͰ຋༁Ͱ͖ͳ͍
10. Translation API ͸Ϋϥ΢υ຋༁αʔϏεͷ ୅ΘΓʹ͸ͳΒͳ͍ ʢ2024೥3݄࣌఺ʣ
11. ໨࣍ 1. translationPresentation ͷొ৔ 2. TranslationSession Λ MVVM Ͱ࢖༻͢Δ 3. Translation API ͷ׆༻ྫ 4. Translation API ։ൃ Tips 5. watchOS, ΢ΟδΣοτͰ࢖͑Δʁ
12. ͦͯ͠ɺ࣌͸ྲྀΕ 2024೥6݄ WWDC Meet the Translation API ͕ެ։ [WWDC2024] https://developer.apple.com/videos/play/wwdc2024/10117/
13. translationTask [Ҿ༻ݩ ެࣜDoc]https://developer.apple.com/documentation/SwiftUI/View/translationTask(source:target:action:)
14. translationTask ͷ࠷খ࣮૷ͱσϞ . VStack { Text("຋༁ର৅: " + sourceText) Text("຋༁݁Ռ: " + targetText) } .translationTask( source: .init(identifier: "ja-JP"), target: .init(identifier: "en-US") ) { session in Task { let response = try! await session.translate(sourceText) targetText = response.targetText } }
15. TranslationSession ͷ຋༁ϝιου [Ҿ༻ݩ ެࣜDoc] https://developer.apple.com/documentation/translation/translationsession ୯Ұͷ String Λ຋༁ ෳ਺ͷ຋༁ϦΫΤετΛஞ࣮࣍ߦ ෳ਺ͷ຋༁ϦΫΤετ͕શͯऴΘͬͨΒɺ·ͱΊͯฦ٫
16. TranslationSession Λ View ૢ࡞Λհͣ͞࢖͑ͨΒศརͦ͏ʂ
17. translationTask ͔Β TranslationSession Λऔಘ (View) ……………………. VStack { TextField("຋༁ର৅", text: $sourceText) Text("຋༁݁Ռ: " + targetText) Button("຋༁") { Task { targetText = await vm.translate(sourceText: sourceText) } } } .translationTask( source: .init(identifier: "ja-JP"), target: .init(identifier: "en-US"), action: vm.setSession )
18. translationTask ͔Β TranslationSession Λऔಘ (ViewModel)ɹɹɹɹ…..………. View ͔Βऔಘͨ͠ TranslationSession Ͱɺ ࣗ༝ͳλΠϛϯάͰ຋༁ͷ࣮ߦ͕Մೳ final public class ContentViewModelImpl: ContentViewModel { var session: TranslationSession? func setSession(_ session: TranslationSession) async { self.session = session } func translate(sourceText: String) async -> String { let response = try! await session?.translate(sourceText) return response?.targetText ?? "" } }
19. MVVM ʹ͓͚Δ TranslationSession ͷ؅ཧͷ஫ҙࣄ߲ ………………….. • TranslationSession Πϯελϯεͷ ʮण໋͸ੜ੒ͨ͠ View ʹґଘʯ • WWDC ͷηογϣϯͰ͸Ӭଓతʹอ࣋͠ͳ͍Α͏ʹ஫ҙשى • View ͱಉ͡ϥΠϑαΠΫϧͷ ViewModel Ͱͷ؅ཧͰ͋Ε͹໰୊ͳ͍ • લड़ͷϞσΟϑΝΠΞҎ֎Ͱ͸ TranslationSession ͷΠϯελ ϯεੜ੒͸ෆՄ • ແཧ΍Γॻ͍ͯ΋ίϯύΠϧΤϥʔ • SwiftUI ͷ View ͕ແ͍؀ڥͰ͸࢖༻ෆՄ [WWDC2024]https://developer.apple.com/videos/play/wwdc2024/10117/
20. translationPresentation ͷΫϥ΢υ຋༁αʔϏε୅ସͷ՝୊ • Ϣʔβ͕[຋༁Ͱஔ͖׵͑]ΛԡԼ͢Δඞཁ • ։ൃऀ͕λΠϛϯάΛࢦఆͰ͖ͳ͍ • ϙοϓΦʔόʔ΋ෳࡶͰ༠ಋ΋ࠔ೉ • ϙοϓΦʔόʔͷ౎౓ૢ࡞͕ඞཁ • ෳ਺ͷจࣈྻ຋༁͕Ͱ͖ͳ͍ • ࿈ଓͰ຋༁Ͱ͖ͳ͍ 解決
21. ໨࣍ 1. translationPresentation ͷొ৔ 2. TranslationSession Λ MVVM Ͱ࢖༻͢Δ 3. Translation API ͷ׆༻ྫ 4. Translation API ։ൃ Tips 5. watchOS, ΢ΟδΣοτͰ࢖͑Δʁ
22. one௨ɹ🔍 ͝ཡͷΞϓϦ͸ App Store ʹͯ഑৴த ※ຊΞϓϦ͸ݕূͷͨΊʹݸਓͰ։ൃɾϦϦʔεͨ͠΋ͷͰ͋Γɺ LINEϠϑʔגࣜձࣾͱ͸Ұ੾ؔ܎͍͟͝·ͤΜɻ
23. ΦϯσόΠε຋༁ ΦϑϥΠϯ ࢖͍์୊ ڧΈΛ׆͔͍ͨ͠🤔
24. ΦϯσόΠε຋༁ ΦϑϥΠϯ ࢖͍์୊ େྔͷςΩετΛ࿈ଓͰ຋༁͍ͤͨ͞🤔
25. ΦϯσόΠε຋༁ ΦϑϥΠϯ ࢖͍์୊ ೖྗ͸ޱ಄͕࠷଎͔ʁ🤔 SFSpeechRecognizer AVSpeechSynthesizer
26. ʲิ଍ʳࣗ෼ͷ੠Ͱൃ࿩ͤ͞Δʹ͸ [Ҿ༻ݩ] https://fortee.jp/iosdc-japan-2024/proposal/753db2ce-ca26-4bc8-868d-705e0d771705
27. ໨࣍ 1. translationPresentation ͷొ৔ 2. TranslationSession Λ MVVM Ͱ࢖༻͢Δ 3. Translation API ͷ׆༻ྫ 4. Translation API ։ൃ Tips 5. watchOS, ΢ΟδΣοτͰ࢖͑Δʁ
28. ʲ։ൃ Tips 01ʳݴޠมߋͷํ๏ • translationTask ͷҾ਺Λมߋ͢Δͱ TranslationSession ͕ࢦఆݴޠͰ࠶ੜ੒ • ೖग़ྗͰ21ݴޠରԠ .translationTask( source: vm.sourceLocale.locale.language, target: vm.targetLocale.locale.language, action: vm.setSession ) ϓϧμ΢ϯͰ஋Λมߋ
29. • ݴޠϞσϧ͸ଞΞϓϦͱڞ༗ʢެࣜ ຋༁ͳͲʣ • ݴޠϞσϧ͕ͳ͍৔߹μ΢ϯϩʔυͷ UI ͕දࣔ • ॳճ͸ΦϯϥΠϯͰμ΢ϯϩʔυ͕ඞཁ • γεςϜσʔλྖҬʹอଘ • ⚠ ୺຤ͷۭ͖ετϨʔδ͕ṧഭ͢ΔͱࣗಈͰ࡟আ • TranslationSession.prepareTranslation() Ͱ ຋༁Մೳঢ়ଶͷνΣοΫՄೳ • ࣗಈ࡟আ࣌ʹ prepareTranslation ͷνΣοΫΛ؏௨ • translate Ͱద౰ʹ຋༁͠ catch ͢Ε͹൑ఆՄೳ ʲ։ൃ Tips 02ʳݴޠϞσϧͷμ΢ϯϩʔυ
30. ໨࣍ 1. translationPresentation ͷొ৔ 2. TranslationSession Λ MVVM Ͱ࢖༻͢Δ 3. Translation API ͷ׆༻ྫ 4. Translation API ։ൃ Tips 5. watchOS, ΢ΟδΣοτͰ࢖͑Δʁ
31. watchOS Ͱͷ Translation API • SwiftUI ͳͷʹඇରԠ…
32. ίϯτϩʔϧ΢ΟδΣοτͰͷ Translation API • translationTask ͕ൃՐ͠ͳ͍…
33. ϗʔϜը໘΢ΟδΣοτͰͷ Translation API • View ੜ੒ͷҰॠ͚ͩ຋༁Ͱ͖Δ伱͕͋Δ • ຋༁݁ՌͷදࣔΛ଴ͨͣ View ͕ແ͘ͳΔ • View ফ໓ͱڞʹ TranslationSession ͕ fatalError
34. ·ͱΊ 1. translationPresentation • iOS17.4 Ҏ߱ɺ1ߦͰ࣮૷ՄೳɺσϑΥϧτͷ UI ͕͋Δɺ։ൃࣗ༝౓͕௿͍ 2. TranslationSession • iOS18 Ҏ߱ɺΫϥ΢υ຋༁αʔϏεͷ୅ΘΓʹͳΓಘΔɺ։ൃࣗ༝౓͕ߴ͍ 3. Translation API ͷ׆༻ྫ • ຋༁ػϥΠΫͳΞϓϦΛ࡞੒Մೳ 4. Translation API ։ൃ Tips • উखʹ຋༁Ϟσϧ͕࡟আ͞ΕΔࣄ৅ʹ஫ҙ⚠ 5. watchOS, ΢ΟδΣοτͰ࢖͑ͳ͔ͬͨͰ͢…
35. ࣗݾ঺հ • Ԭຊ ཾଠ࿠ʢ͓͔΋ͱ ΓΎ͏ͨΖ͏ʣ • LINEϠϑʔגࣜձࣾ • 𝕏 : @kuromelon257 • Yahoo!ϑϦϚ ( چ PayPayϑϦϚ ) • #ήʔϜ։ൃ #ҭࣇ #ཱྀߦ #ྉཧ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠