Watson Text to Speechを活用し 英語学習を加速しよう

2022/4/28 IBM Tech Dojo 「Watson Text to Speechを活用し英語学習を加速しよう 」での利用資料

Transcript

1. エンジニア x 英語学習 Watson Text to Speechを活用し 英語学習を加速しよう 2022年4月28日 日本アイ・ビー・エム株式会社 テクノロジー事業本部 カスタマーサクセスマネージャー アマラシンハ アチャラ 村上 雄介
2. 目次 1. Watson Text to Speech入門 • 機能の概要 • APIコール、使い方の紹介 • サンプルを使った音声ファイルの作成と応用 2. TTSと英語学習 • 単語学習ソフト Anki のご紹介 • Anki を使った単語学習と音声ファイルの連携 • Watson TTS をAnkiに組み込んだ実例のご紹介
3. 本セッションについて • 目的 Watons Text to Speechを利用 するイメージを掴む Watson TTS を英語学習するた めのヒントを共有する(Anki) 皆様のGWの英語学習の刺激に なれば この資料の内容には正確を期するよう注意しておりますが、内容を保証するものではありません。 皆様の学習の参考としてお使い下さい。
4. 自己紹介 村上 雄介 (Yuhsuke Murakami) Manager, Customer Success カスタマーサクセスマネージャー 日本アイ・ビー・エム株式会社 — LinkedInプロフィールはこちら： https://www.linkedin.com/in/yusukemurakami/ バックグラウンド • (Lotus/IBM/HCL) Notes/Domino SME として20年の経験 • 自然言語AI 系 Webアプリケーションプロジェクト経験4年 • CSM & CSM Manager • 海外在住経験1カ月 x 2 (Boston, MA) • 趣味：海外旅行、語学学習、海外YouTuber視聴、海外オンラ インレッスン受講 資格など • 実用英語技能検定１級 • 英単語検定１級 • 通訳案内士（英語） • 他・・・ Global Markets - Cloud Platform Sales / © 2022 IBM Corporation 4 Customer Success Japan
5. 自己紹介 Achala Amarasinghe MBA, University of Wolverhampton, U.K. Customer Success Manager, IBM アマラシンハ アチャラ カスタマーサクセスマネージャー 日本アイ・ビー・エム株式会社 — ibm.com LinkedInプロフィールはこちら： https://www.linkedin.com/in/achala-amarasinghe バックグラウンド • 親のスリランカ外務省の仕事関係でサウジアラビアで生れ、 カナダと日本で育ちました。 • ヨーロッパ、アメリカ、オーストラリアの企業向けのBPOや ITサービスのビジネス開発、コンサルティングと経営 SDLC（Software Development Lifecycle）全体でエンジニア と お客様の間のコミュニケーションとプロジェクトマネジメン ト • スタートアップ事業の立ち上げ、拡大と管理 • 日本で外資系化粧品会社と外資系清薬会社のプロセス コンサルティングとプロジェクトマネジメントの経験 テクノロジー・ソリューション ウェブとモバイルアプリ開発 Big Data IoT・Embedded Systems Blockchain RPA Global Markets - Cloud Platform Sales / © 2022 IBM Corporation 5 Customer Success Japan
6. 本ハンズオンで利用する Python のバージョンは 3.x が前提となっています。Python 3.x をダウンロードして 下さい。少なくとも 3.9で動作実績があります。 最新版 Python はこちらからダウンロードできます。 https://www.python.org/downloads/ わかりにくいという場合は、こちらが親切です。 https://pythonlinks.python.jp/ja/index.html macOS で Python を使われている方は、ご自身が普段使われているパッケージ管理方式に合わせて、Python 公 式サイトが提供する macOS 用のインストーラーか HomeBrew を使ったインストールのどちらかの方式を選択 して下さい。 https://www.python.jp/install/macos/index.html Python の導入が完了したら、Windows の場合はコマンドプロンプト (cmd.exe) から、macOS の場合はター ミナルから python コマンドが実行できることを確認して下さい。 補足ーーPython 実行環境の導入 python --version Python 3.9.6
7. Windows で python の実行パスが見つからない場合は、以下の手順を実行したかどうか確認して下さい。 ・Python for Windows のインストーラ実行時に「Add Python 3.x to PATH」のチェックボックスを選択し、 インストールを継続。インストール終了後 OS を再起動。 ・それでも python の実行パスが見つからない場合は、コマンドプロンプトで python を実行する際にフルパス を指定。 C:¥Users¥Windowsユーザ名¥AppData¥Local¥Programs¥Python¥Python3X¥python.exe (XはPythonのバージョンに依存) https://docs.python.org/ja/3/using/windows.html 補足ーーPython 実行環境の導入
8. https://pip.pypa.io/en/stable/installation/ macOS Windows 補足ーーPipの導入 $ python get-pip.py C:> py get-pip.py
9. 目次 1. Watson Text to Speech入門 • 機能の概要 • APIコール、使い方の紹介 • サンプルを使った音声ファイルの作成と応用 2. TTSと英語学習 • 単語学習ソフト Anki のご紹介 • Anki を使った単語学習と音声ファイルの連携 • Watson TTS をAnkiに組み込んだ実例のご紹介
10. ハンズオンの 進め方 Watson Text to Speechのご紹介 Demoを触ってみよう！ 本日使うcodeの説明 IBM Cloud ライトアカウントLogin Text to Speech API keyの取得 テキストから音声ファイルを合成してみる Tips & 補足
11. Watson Text to Speech テキストを多様な言語と声で自然な音声に変換します。 IBM Watson Text to Speechは、テキストをさまざまな 言語に変換することができます。 • お客様のブランドに「声」をもたらし、ユーザーの母 国語での対話を可能にすることで、顧客体験とエン ゲージメントを向上させます。 • あらゆるユーザーのアクセシビリティーを高めること ができます。 • 不注意運転を防ぐために音声オプションを提供する目 的で利用することも可能です。 • このサービスを活用してカスタマー・サービスでの対 話を自動化すると、待ち時間を排除できます。
12. Watson Text to Speech • 言語と音声 https://cloud.ibm.com/docs/text-to-speech?topic=text-to- speech-voices • 音声フォーマット https://cloud.ibm.com/docs/text-to-speech?topic=text-to- speech-audioFormats
13. Demoを 触ってみよう！ https://www.ibm.com/demos/live/tts- demo/self-service/home
14. では、 テキストから音声ファイルを合成してみましょう！ コードはこちらからダウンロード： https://github.com/Code1662/text-to- speech
15. 本日使うcode「tts.py」の説明 事前に必要 なSoftware PackageをIDE のTerminalを 使ってイン ストールし てください。
16. IBM Cloud ライトアカウントLogin https://cloud.ibm.com/
17. • カタログからText to Speechを選択する (検索バーからも探す事ができます) Text to Speech API keyの取得
18. • 「無料」プランのサービスを作成する Text to Speech API keyの取得
19. • 「apikey」と「url」を確認する Text to Speech API keyの取得
20. ゴールまであと少しだけ…… • auth.json apikeyとurlを追加して保存する。 • tts.py 合成したい文章に書き換える。 他の言語を使いたい場合、「voice」を修正する。 こちらをご参照ください：https://cloud.ibm.com/docs/text-to-speech?topic=text-to-speech-voices
21. Tips • 長文より、短い文章に分けて変換する方が修正しやすい。 • 自然な発音を得るために、句読点やスペースをテキストに入れる。 • 他の言語はこちらをご参照ください： https://cloud.ibm.com/apidocs/text-to-speech?code=node#listcustomprompts
22. APIを使ってCSVまたはEXCELから音声ファイルをま とめて作りましょう！ コードはこちらからダウンロード： https://github.com/Code1662/text-to- speech
23. 本日使うcodeの説明 事前に必要 なSoftware PackageをIDE のTerminalを 使ってイン ストールし てください。
24. 本日使うcodeの説明 CSVの場合pd.read_excel をpd.read_csvに変えて ください。
25. 本日使うcodeの説明 選択できる発音は２つ の種類があります。 V3はDeep Learning Networkを使った物と 「V3」がついていない 物は一般的なEnhanced Neuralモデルになります。 詳細： https://cloud.ibm.com/do cs/text-to- speech?topic=text-to- speech-voices ※場合によってInquirer の英語の音声機能が動 かない ケースもありま すのでご了承ください。
26. 手順 １．GitHubをアクセスし、CodeをZIPファイルとしてダウンロードします。 ２．ダウンロードしたZipファイルを抽出し、IDEでフォルダーを開きます。（抽出する際 にZipファイル名のフォルダーではなく、中身の「text-to-speech-main」フォルダーを IDEで開いてください。） ３．auth.json ファイルにIBM CloudからWatson Text To SpeechのAPI KeyとURLを 入力します。 4. WatsonTTｓ＿BulkAudio作成.pyを走らせます。Terminal上で発音を選択し、音声 ファイルを作成するまでまちます。 5. ~/text-to-speech-main/フォルダーに保存された音声ファイルを確認します。 ボーナス：TTSConversionDataFile.csv または TTSConversionDataFile.xslx に新たな 英単語・フレーズと日本語の意味を入力し、試して見てください。
27. 目次 1. Watson Text to Speech入門 • 機能の概要 • APIコール、使い方の紹介 • サンプルを使った音声ファイルの作成と応用 2. TTSと英語学習 • 単語学習ソフト Anki のご紹介 • Anki を使った単語学習と音声ファイルの連携 • Watson TTS をAnkiに組み込んだ実例のご紹介
28. 世の中の単語学習ソフトの例 • P Study System • 2009年頃大変流行った。標準で単語帳を準備しつつ自作問題集にも対応。多くのネット民が使った と想像。 • https://www.takke.jp/ • Flashcards Deluxe • スマートフォン用フラッシュカードアプリ。Quizletとの連携が切れるまでは結構流行った。 • http://flashcardsdeluxe.com/flashcards/Default.aspx • Quizlet • 世界的に有名なフラッシュカードアプリ。Web/モバイル。自動で音声読み上げがあって便利。問題 共有機能が便利。 • https://quizlet.com/ • Anki • フラッシュカードアプリ。カスタマイズ性に優れておりエンジニア向け。 • https://apps.ankiweb.net/ 今回の対象
29. Anki のご紹介 • フラッシュカード形式で単語などの暗記が可能 • 一定期間をあけて、継続的に覚えた単語が学習できる • データに合わせて画面構成をHTML+CSSで自由にデザインすることが可能 • mp3などのメディア再生にも対応。 カード表の例 カード裏の例 [上記の例は、下記ブログから個人学習用にデータを作成したもの] Twitter Selection 9月 Part 1 | Globalに生きる・働く！ Listening, Reading, Speaking, Writing４つのスキルをバランスよく伸ばす法則 https://ameblo.jp/sarahaloha/entry-12701699243.html
30. Anki学習環境の作り方 1. ノートタイプを作成する • デフォルトのものを使ってもよいが、自作すると学習が便利 2. 学習データの作成 • カードの表、裏に表示するデータをCSVなどで作成 • Watson TTS を使い、音声出力したいデータの音声ファイルを作成 3. Anki環境へのデータインポート • 作成したデータと mp3 ファイルを Anki 環境にインポート *当資料ではAnkiの簡単な利用方法について触れますが、詳細はWikiをご確認下さい。 https://wikiwiki.jp/rage2050/
31. 1. ノートタイプを作成する 1. Ankiを起動し、ノートタイプを作成 2. 「フィールドの追加」(例: English, Japanese, memo, audio) 3. カードの編集 • 表：英語＋音声 ({{English}}, {{audio}}) • 裏：表＋日本語＋メモ ({{FrontSide}}, {{Japanese}}, {{memo}}) →HTMLを使ってフォーマットが可能。フィールド値から動的にURLリンクなども作成可能 • 書式：画面表示で使いたいスタイルの設定(CSS) カードの作成例
32. (参考)ノートタイプ作成の例 表面： {{English}} [sound:{{audio}}.mp3] 裏面： {{FrontSide}} <hr id=answer> <div class="left memo"> {{Japanese}} <br><hr> {{memo}} </div> <hr> <a href="https://ejje.weblio.jp/content/{{ English}}">[Weblio]</a> <a href="https://eow.alc.co.jp/search?q={ {English}}">[英辞郎]</a> 書式： .card { font-family: arial; font-size: 20px; text-align: center; color: black; background-color: white; } div.left {text-align: left} .memo { font-size: 16px; }
33. 2. 学習データの作成 1. 学習に使うCSVをTTSでの音声一括作成用に用意する。 • 例：英語, 音声ファイル名 • データ元としては、自作や、オープン素材の利用。 • 例：ANC英和頻度辞典を Rank でソートして、自分のレベルからスタート • https://www.jamsystem.com/ancdic/index.html 2. CSVから、Watson Text to Speechを使い音声ファイルを作成する • 例えば Chapter 1で使ったCSV→mp3のTTSサンプルコードを利用 • 学習に使う mp3ファイルをローカルに作成しておく
34. 3. Anki環境へのデータインポート 1. Ankiでの学習に使うCSVをカードのフィールドにあわせて用意する。 • 例：英語, 日本語, 音声ファイル名 (.mp3 は省略) • CSVにはヘッダ不要 2. Ankiにデータをインポートする • インポート用のデッキを作成する • ファイルの読み込みで、対象CSVを指定して、事前に作成したノートタイプを指定する。 • CSVの各列とAnkiのフィールドをマッピングさせる 3. mp3ファイルを指定のフォルダに配置する • サンプルファイルをローカルPCのAnkiフォルダに配置 • Windowsなら、%APPDATA%¥Anki2、 • Macなら~/Library/Application Support/Anki2 • 直下にあるメディアフォルダに配置する。 完成！！
35. AwesomeTTSでの利用 • Ankiのプラグインで、Watson TTSなどTTSエンジンを事前に設定・指定して おくと、動的に読み上げてくれる。 • Watson TTSを利用する場合は API KeyとURLを指定し、好みの声を設定して おく。 AwesomeTTS - Add speech to your flashcards - AnkiWeb https://ankiweb.net/shared/info/1436550454
36. (参考) P-Dicとの連携も可能 • Ankiでの現在のカードの英単語をクリップボードに自動入力 • P-Dicでクリップボードに入ったものを自動サーチ • 好みに応じて、画面に並べて学習してもよし
37. 本日のまとめ • Watson Text to Speechを使うことで、テキストを好みの声で読み 上げることが出来る。 • プログラミングAPIを使うことで、一括処理なども可能 • 英語学習ソフトと組み合わせると、耳からも覚えることが出来 て、より効果的に学習が出来る • 既存の例として、API KeyとURLさえ自身で取得出来れば、その 場で音声を取得することが出来るアプリケーションも存在する Watson TTS x 英語学習ソフトで、英語学習を加速させましょう！！