Linuxで日本語の扱えるTTS(Text-to-speech)を試す

Transcript

1. Linuxで日本語の扱えるTTS(Text-to-speech)を試す
2. Kenichiro Matohara(matoken) https://matoken.org/ 鹿児島から参加 ADSL回線下りは案外どうにかなるけど登り辛い Rakuten mobile(mini)申込みから2ヶ月以上経過…… お仕事募集 mailto:work@matohara.org
3. 鹿児島らぐ 前回07/26(日) オンライン開催 Discord(音声+text+画面共有) + Eterpad(Note) 参加地域は鹿児島県x3，東京都x1，静岡県x1，岐阜県x1，愛知県x2 「Photon OSを使ってみた話」 「ssh login時の通知を簡単に設定できないか?の相談」 「ArchiveBoxで自分用WebArchive(django版)」 「5月のYoctoLTSの続報」 「ArchLinuxのインストールがうまく行かない相談」 「m3u8のプレイリストからダウンロード」 「Free RADIUSサーバーの構築についての相談」 次回08/23(日) オンライン開催
4. 前前回の補足 Linux環境で(低解像度の)画面共有を行うTips Xephyr等でXをウィンドウで起動すると便利 ウェブブラウザやElectronはOKだけどZoom.us clientでは何故か共有画面に出 てこない Zoom.usをウェブブラウザで利用(高負荷時に音が死ぬ) Zoom.us clientで画面共有時に「画面の部分」を選びXephyr部分を共有 New!
5. Linuxで日本語の扱えるTTS(Text-to-speech)を試す
6. TTS(Text-to-speech) テキストからコンピュータに喋ってもらう 「こんにちは」 スマートスピーカー，テキスト読み上げ 今回は自分が声を出せない時に代わりに喋って貰いたいと思って試した
7. Confirmed: Raspberry Pi & PC Raspberry Pi OS buster amd64(β) Debian sid amd64
8. 最近試したLinuxで使えるもの eSpeak Festival N2 Linux無償版 Open JTalk Svox Pico translate-cli
9. 日本語標準対応 N2 Linux無償版 Open JTalk translate-cli
10. 日本語非対応エンジンで日本語 無理やり日本語を喋らせることも(ゴノレゴ的な) mecab で開いてカナに， ucinv でローマ字に $ echo "こんにちは" | mecab -Oyomi | uconv -x latin | espeak $ echo 'こんにちは' | mecab -Oyomi | uconv -x latin | festival --tts $ WAVE="`mktemp`.wav" && pico2wave -w $WAVE "`echo "こんにちは" | \ mecab -Oyomi | uconv -x latin`" && aplay $WAVE ; rm $WAVE
11. translate-cli コマンドラインでいろいろな翻訳 リモートのウェブサービスを無理やり利用(Google/bing/Yandex等) -> 回線必須 翻訳の読み上げ機能を流用してTTSが可能 日本語TTSは試した限りGoogleのみ 沢山叩いたりサービス変更で動かなくなる グレーな感じのツール
12. 導入 $ sudo apt install translate-shell
13. 翻訳例(日->英) $ trans -s ja -t en こんにちは こんにちは (Kon'nichiwa) Hello 「こんにちは」の翻訳 [ 日本語 -> English ] こんにちは Hello, Hi there, good afternoon, Hi
14. translate-cliをTTSとして使う例 -b で一番関連性の高いものだけ -p でTTS $ trans -b -p こんにちは
15. N2 KDDIのN2 端末単体で動作 Linuxの他にAndroid/iOS/Windows/マイコン版もある カスタム辞書も利用可能(未確認)
16. N2 Linux無償版 動作環境 Debian 7 以降 (対応アーキテクチャ：amd64, armel, armhf, i386) Ubuntu 14.04 LTS以降 (amd64, arm64, armhf, i386) Raspbian (wheezy以降)
17. N2 利用規約 第2条 使用権の許諾、使用期間 本契約によって本ソフトウェアを使用することができるのはお客様本人のみで、 本ソフトウェアを１台のLinux機器にインストールして、インストール後30日間 に限り使用することができます。
18. N2 利用規約 第5条 禁止事項 より （６）本規約で弊社が別途許諾している場合以外に、営利・非営利に拘らず、本 ソフトウェア、 又は本ソフトウェアの使用により作成された音声データを、複製、頒布、貸与、 譲渡、公衆送信、 送信可能化若しくは上映すること（家庭内や少数の友人間など限られた範囲内で 使うために 行う本音声データの複製については除く。）
19. 一般公開は無理そう? しかし，デモ映像ページには以下のような記述がある 無償版で作成したプロトタイプ（作ってみた）をYoutubeにアップしてTwitterな どでお知らせいただければ、こちらでもご紹介させていただきます。
20. 導入 $ tar xf ./n2-linux-foc-*.tar.gz $ sudo dpkg -i ./n2-linux-foc-*/*.deb
21. n2ttsコマンド $ n2tts -o - こんにちは | aplay
22. 声質モデルデータ指定(-m) $ ls /usr/share/n2tts/voice/ fa001.dat fa003.dat fa005.dat fb002.dat fb004.dat ma001.dat ma003.dat ma005.dat mb002.dat mb004.dat fa002.dat fa004.dat fb001.dat fb003.dat fb005.dat ma002.dat ma004.dat mb001.dat mb003.dat mb005.dat $ ls -1 /usr/share/n2tts/voice/ | xargs -n1 -I{} sh -c "n2tts -m {} -o - こんにちは | aplay"
23. 音声パラメータ設定(-p key=value) SPEECHRATE 64…1024(default 256) 小さいほうが早口 PITCH -1536…1536(default 0) 小さいほうが低い PITCHRANGE 0…1024(default 256)
24. 早口でしゃべる $ n2tts -p SPEECHRATE=176 -o - -- こんにちは
25. N2で青空文庫読み上げ UTF8に変換して1行毎にTTSに掛ける 132892文字問題なく最後まで読み上げられた $ wget -O - https://www.aozora.gr.jp/cards/001090/files/42307_txt_24297.zip | \ zcat | nkf -w | xargs -I{} -n1 sh -c "echo {}; n2tts -o - -- {} | aplay 2>/dev/null "
26. Open JTalk 端末単体で動作 日本語対応だと一番メジャー? 今回はDebian packageのものを利用 open-jtalk TTSシステム hts-voice-nitech-jp-atr503-m001 音声データ open-jtalk-mecab-naist-jdic NAISTの辞書データ
27. 幾つかのOpen JTalk向け音響モデル Open JTalk - Browse /HTS voice at SourceForge.net MMDAgent - Browse /MMDAgent_Example at SourceForge.net icn-lab/htsvoice-tohoku-f01: Japanese female HTS voice with four emotions {angry, happy, neutral, sad}
28. とりあえずしゃべる $ echo こんにちは | open_jtalk \ -m /usr/share/hts-voice/nitech-jp-atr503-m001/nitech_jp_atr503_m001.htsvoice \ -x /var/lib/mecab/dic/open-jtalk/naist-jdic -ow /dev/stdout | aplay
29. 青空文庫読み上げ $ wget -O - https://www.aozora.gr.jp/cards/001090/files/42307_txt_24297.zip | \ zcat | nkf -w | xargs -I{} -n1 sh -c "echo {}; echo {} | open_jtalk -m \ /usr/share/hts-voice/nitech-jp-atr503-m001/nitech_jp_atr503_m001.htsvoice \ -x /var/lib/mecab/dic/open-jtalk/naist-jdic -ow /dev/stdout | aplay" 最後まで読み上げたけどN2に比べ変換に時間がかかるようで空白時間が発生して気に なる
30. N2/Open JTalkの変換時間比較 約400バイトのテキストを読み上げて /dev/null に $ wc -c text 398 text $ \time -f "real %e" sh -c "cat text|open_jtalk -m \ /usr/share/hts-voice/nitech-jp-atr503-m001/nitech_jp_atr503_m001.htsvoice \ -x /var/lib/mecab/dic/open-jtalk/naist-jdic -ow /dev/null" real 2.80 $ \time -f "real %e" n2tts -o /dev/null `cat text` real 0.71 Open JTalk 2.8s N2 0.71s ※Intel(R) Core(TM) i5-3320M CPU @ 2.60GHz すぐに声を出したい場合は文を短くするなどの工夫をしたほうが良さそう
31. TTS活用 Twitter hashtag読み上げ イベントのサブチャンネルで読み上げたり? 声を出せない環境でビデオチャットやボイスチャットに音声参加
32. Twitter読み上げ…… 以前作った物かmikutterを流用しようとしたらBANされたアカウントのTwitterAPI IDだ ったので今のアカウントで再取得 Twitter API IDの取得に失敗 unable to approve your developer application at this time. 新しく申請も出来ない……
33. sayakaちゃん twitter クライアント sayaka ちゃん ターミナル特化Twitter client．SIXELに対応していれば画像も表示できる．OSCで x68000などで動かして展示されている．
34. sayakaちゃんを利用してTwitter読み上げ Tweetをファイルに保存 $ sayaka --record-all koedolug.json '#koedolug' ファイルからtweetを抜き出してTTS $ stdbuf -oL tail -f koedolug.json |stdbuf -i0 -oL jq -r .text | stdbuf -i0 -oL \ xargs -I{} -n1 sh -c "echo {}; stdbuf -i0 -oL n2tts -o - -- {} | aplay 2>/dev/null" 副音声や距離の概念のあるサービスなどに?(Second Life, Remo, Hubs Cloud, Online Town, SpatialChat……)
35. TTSでしゃべる 深夜，外出先，など声を出しづらいときなどに? テキスト入力時間が必要なので実用度は?
36. TTSの音声をマイクに入れる Zoom.us画面共有時 -> 「 コンピュータの音声を共有」 その他 -> ソフトウェアミキサーでマイクと合成
37. PulseAudio環境でオーディオをマイクとミックスしてビデオ会議に参加でき るようにするscript これを実行後PCのオーディオもマイクの音声と一緒に流れていくようになる $ git clone https://github.com/toadjaune/pulseaudio-config $ cd pulseaudio-config $ ./pulse_setup.sh toadjaune/pulseaudio-config: Scripts and notes for custom pulseaudio configuration
38. 音が小さい 一人で試してるときは気づかなかった Volume Controle(pavucontrol)で最大にしても聞こえない? aplayでボリューム上げ方わからなかったので sox の play を利用 play -v 10
39. 次世代のTTS? 自然な人間に近いTTS 今の所UK/US DeepMindのGANを利用したTTS [1909.11646] High Fidelity Speech Synthesis with Adversarial Networks Amazon Pollyのニューラルネットワークを利用したTTS Amazon Polly Introduces Neural Text-To-Speech and Newscaster Style | AWS News Blog 日本語も出てくるのを期待
40. まとめ ぎごちないながらもLinux端末だけで日本語のTTSが出来る テキストを読み上げてもらいながら作業事等に聞くのに便利 リアルタイムの音声チャットでの実用度は? 発言の多いTwitterやChatを副音声などで読み上げるのはありかも?
41. おまけ 先月，先々月と画面共有に失敗していたのでテキストベースのプレゼンを用意 ttyd で端末をhttpで共有，ウェブブラウザで閲覧可能にしておく Markdownで記述したスライドを mdp を使い端末で表示(ほぼMarp Nextで利用で きる形式でokだった) その他，ttvでウェブカメラ表示，mapsciiで地図表示 発表してみて ttyd を操作可能にしていたのでウェブブラウザで開かれるたびに画面リサイズ が発生してしまうという問題が発生 今回は表示だけで良いので -R オプションを付けるべきだった 表示されているテキストをそのままコピーできるのは便利 (しかし今月は画面共有もうまく行ったので必要なかった)
42. 奥付 発表: 「小江戸らぐ 8月のオフな集まり(第217回)」 発表者: Kenichiro Matohara mailto:matoken@kagolug.org license: CC-BY-NC-SA 4.0 powered by VSCodium + mdp + Marp-CLI 参考URL: https://wiki.matoken.org/linux/tts